VII-VIII веках до нашей эры в степях у реки Талас сложились племенные союзы саков и усуней, которые основали городище Тараз, следы которого найдены на месте Центрального колхозного рынка (зеленого базара) современного города Тараза. Первое письменное упоминание города (в греческих источниках) относится к 568 г. Один из пунктов северной ветви Великого шелкового пути, который проходил из Алмалыка (район современного города Кульджа в Китае) в направлении города Ясы (современный город Туркестан) и далее вниз по течению Сыра (Сырдарья).В 751 году вблизи города состоялась битва на Таласе, в которой конница Аббасидского халифата наголову разбила армию Танского Китая при помощи карлукских наёмников. В VIII-X веках входит в состав Карлукского ханства.
Наибольшего расцвета древний Тараз достиг в XI—XII веках при Караханидах, с завоеванием края которыми (в 999 году) династия Саманидов прекращает свое существование.Письменных сведений о завоевании Тараза монголами нет, но, по-видимому, в 1220 году город оказал монголам значительное сопротивление, почему и был разрушен ими до основания, о чем свидетельствует остатки пожарищ, обнаруженные при раскопках. Город, видимо, был переименован монголами в Яны (Новый), поскольку при дальнейшем упоминании его как европейские, так и арабские источники пишут: город Яны, называвшийся до завоевания Таразом».В 13 - 15 веках входил в состав Чагатайского улуса Монгольской империи.В период 1465 по 1718 гг.- один из городов Казахского ханства.В 1723 году Таласская долина, как и большая часть южных областей Казахстана, была завоевана джунгарами, которые и владели ею почти до 1756 года.В 18 - 19 веках входил в состав Кокандского ханства. В 1856 году город был переименован в Аулие-ата - (Святой отец). Это название он получил в честь Карахана — основателя династии Караханидов. В 1864 году был захвачен русскими войсками под командованием полковника Черняева в ходе завоевания Средней Азии Россией. В 1938 году город был переименован в Джамбул, по имени казахского поэта Джамбула Джабаева. В 1997 году городу вернули старое имя Тараз, область осталась Жамбылской. Древнее название «Тараз» происходит по названию реки. На казахском созвучно слову «весы».