汾陽，于《禹貢》九州，為冀州之域，于周《職方》，屬并州。
春秋置瓜衍縣。
戰(zhàn)國屬魏、趙，為茲氏縣。
秦仍名茲氏縣，隸太原郡。
漢屬并州刺史部──太原郡。
三國魏置并州西河郡，郡治設于茲氏。
晉易名隰城，南北朝先后遞歸前趙、后趙、前秦、前燕、后燕、北魏、東魏、北齊。
北魏間汾州移治隰城，轄郡城。
北周廢汾州，改隸于介州。
隋先廢郡州，后復西河郡，郡治置隰城。
唐復稱汾州，治隰城縣如故。
肅宗上元元年，縣名改稱西河，歷五代、宋、金、元。
明初省西河縣置汾州，兼領平遙、介休、孝義三縣。
萬歷間升州為府，依郭設汾陽縣。
清因之。
1912年，廢府存縣。
1949年9月，山西省人民政府設汾陽專區(qū)，行署駐縣城。
1950個后半年，六區(qū)、八區(qū)合并，七區(qū)、九區(qū)合并，成為7個區(qū)。
1951年3月專區(qū)撤銷，改屬榆次專區(qū)。
1971年4月汾陽縣與文水、平遙、介休縣行政區(qū)劃進行了較大的調整變更，將汾陽縣的蒼爾會公社二、三道川地區(qū)的蒼爾會等24個自然村和冀村公社的百金堡、東槽頭、西槽頭、裴會、王家莊、狄家莊、尹家莊、閻家社8個自然村劃歸文水縣管轄，將平遙縣的寧固、香樂、凈化、西王智4個公社計47個自然村及介休縣的萬戶堡公社及其所屬12個自然村劃歸汾陽管轄。
1971年5月劃歸新成立的呂梁地區(qū)，屬呂梁地區(qū)。
1996年8月20日，國務院批準撤銷汾陽縣，設立縣級汾陽市。
2003年10月23日，國務院批準撤銷呂梁地區(qū)，設立地級呂梁市，縣級汾陽市改由山西省直轄、地級呂梁市代管。