衡山縣地在《禹貢》（此篇將當(dāng)時中國劃分為九州，分別記述其山川、物產(chǎn)、交通、貢賦，保存了重要的地理資料）荊州（古九州之一，《禹貢》云：“荊州及衡陽惟荊州，北據(jù)荊山，南及衡山之陽”）之境（堯時衡山在荊州南境。
舜時屬荒服。
夏商未變，先后為三苗蠻族和揚越雜居之地），天文翼軫（yì、zhěn，翼、軫均為28宿之一。
南方有井、鬼、柳、星、張、翼、軫7宿，稱朱鳥七宿。
首位稱鶉首，中部〈柳、星、張〉稱鶉火，末位稱鶉尾）分野，鶉尾（chún，鶉尾為星次名，指翼軫二宿，古以為楚之分野）之次，本周麇（jūn）子國（另一說為糜子國，本志和《嘉靖衡州府志》等古籍都如此記載。
秦并天下，隸長沙郡（秦始皇24年）。
漢（漢高祖元年復(fù)屬楚，漢高祖五年）封為長沙國湘南縣地（新始建元年，廢長沙國，湘南縣改屬荊州填蠻郡。
東漢建武元年，屬荊州長沙郡湘南候國。
建安13年，為劉備所占。
建安20年，湘江東西一帶分別為孫權(quán)、劉備割據(jù)。
建安24年，改屬孫）。
三國時置衡陽縣，隸衡陽郡（三國時吳大帝黃龍元年屬吳，吳會稽王太平二年即公元257年，立衡陽郡兼置衡陽縣〈非今衡陽縣〉、湘西縣，轄今衡山縣、南岳區(qū)及湘潭縣涓水以東和株洲縣湘江以西地區(qū)），其地（縣治）在今兜率寺（今永和鄉(xiāng)老糧倉一帶）側(cè)，距今縣治二十余里。
晉改曰衡山（西晉惠帝永熙元年即公元290年，衡陽縣更名衡山縣，屬荊州衡陽郡，轄區(qū)與原衡陽縣同。
永嘉元年8月，改屬湘州。
東晉義洗十三年，復(fù)屬荊州。
南北朝宋永初元年，重屬湘州衡陽郡）。
隋以湘西、湘鄉(xiāng)二縣省入，隸潭州（隋開皇九年，湘鄉(xiāng)、湘西兩縣并入衡山縣，屬長沙郡，縣城遷湘西縣城即今株洲市淦田一帶）。
（大業(yè)三年，改衡州為衡山郡，屬荊州，領(lǐng)衡陽、淶陽、湘潭、新寧四縣）。
大業(yè)六年（轄今衡山縣、南岳區(qū)、湘鄉(xiāng)縣、雙峰縣全境，湘潭縣、湘潭市區(qū)、株洲縣、株洲市區(qū)湘江西部地區(qū)和望城縣湘江以西南部地區(qū)），遷治于白馬峰下（今衡山縣開云鎮(zhèn)環(huán)溪村一帶）。
（唐武德4年，析出湘鄉(xiāng)縣。
貞觀元年，屬江南道長沙郡。
神龍二年，改屬衡山郡，轄區(qū)與晉時同）。
唐神龍三年，御史馬目襄奏復(fù)舊治，其后又以水患改遷白茅鎮(zhèn)，南臨湘水百二十步，即今縣治也（開元21年，屬江南西道采訪使。
天寶元年，衡山郡改名衡陽郡，衡山縣屬之。
天寶8年，湘江對岸原湘潭縣部分地區(qū)劃入，時衡山縣轄今衡山縣、衡東縣、南岳區(qū)和安仁縣部分山區(qū)。
五代后梁開平元年，屬南楚衡州）。
晉天福五年，屬潭州。
未幾，復(fù)隸衡州。
宋乾德三年，又屬潭州。
淳化三年，復(fù)屬衡州。
四年，因茶鹽制置使雷有終請，遂定為潭之屬縣（至道3年，屬湖南路潭州長沙郡。
咸平5年，劃東南部地區(qū)給安仁縣。
景炎2年，屬湖廣行省潭州路。
元天歷2年，潭州路更名天臨路。
至正24年，改天臨路為衡州府，衡山縣屬之）。
明朝洪武初，仍隸衡州府。
編戶三十二里（舊時縣以下的行政單位），后并為一十七里。
案：在城一廂，在外六鄉(xiāng)，分十六里。
疆域：東西廣一百六十里，南北袤一百八十里。
里至：冬至攸縣，地名井沖為界，一百二十里。
西至衡陽縣，地名九渡鋪為界，四十五里。
南至茶陵縣，地名黃茅鋪為界，北至湘潭，地名柘塘鋪為界，三十五里。
東到攸縣一百八十里。
西到衡陽縣一百里。
南到茶陵縣一百九十里。
北到湘潭縣一百八十里。
東南到醴陵縣九十五里，西南到安仁縣二百三十里。
東北到善化縣（系宋朝劃長沙縣五個鄉(xiāng)，湘潭縣兩個鄉(xiāng)而設(shè)。
1912年并入長沙縣）二百八十里。
西北到湘鄉(xiāng)縣一百六十里。
形勝：南臨湘水，北負(fù)開云，衡岳諸峰，磅礴蜿蜒，三面環(huán)拱如城。
湖以南郡縣之治，雄壯奇勝莫能有過之者。
歐陽永叔（歐陽修）云：“山川秀麗稱衡湘”，豈虛語哉！后，清屬衡州府，民國廢府存縣，直隸湖南省。
1949年，中華人民共和國成立時，衡山縣域范圍包括今衡山縣、衡東縣、南岳區(qū)，屬衡陽專區(qū)管轄。
1951年12月，劃出南岳及其附近山區(qū)，建南岳特別區(qū)。
1952年7月，南岳特別區(qū)撤銷，歸入衡山縣建制。
同年11月13日，衡山縣改屬湘南行政區(qū)。
1954年，重屬衡陽專區(qū)。
1960年4月，南岳管理局升格為縣級行政單位，原南岳公社劃分為南岳公社和南岳鎮(zhèn)，歸屬南岳管理局。
1961年3月，南岳管理局將南岳公社組建為南岳、店門、祝融、師古4個人民公社，南岳鎮(zhèn)不變。
同年11月，新橋、馬跡、東湖、江東、貫塘、白果、松柏、望峰、貫底、棠興10個公社劃入南岳管理局。
1963年6月，南岳管理局更名為南岳縣，轄原南岳管理局15個社（鎮(zhèn)）。
1966年2月，撤銷南岳縣，將其行政區(qū)域劃歸衡山縣，同時析出湘江以東地區(qū)建衡東縣。
1983年，地市合并，衡山縣屬衡陽市管轄。
1984年5月，析縣境中部南岳鎮(zhèn)、南岳鄉(xiāng)及后山的東湖、馬跡、望峰3個鄉(xiāng)中的10個村建縣級南岳區(qū)，直屬衡陽市管轄。
2005年，開云鎮(zhèn)與師古鄉(xiāng)合并設(shè)立新開云鎮(zhèn)。
根據(jù)湖南省委、湖南省人民政府鄉(xiāng)鎮(zhèn)區(qū)劃調(diào)整改革工作會議精神和《關(guān)于開展鄉(xiāng)鎮(zhèn)區(qū)劃調(diào)整改革工作的意見》(湘發(fā)〔2015〕15號)的相關(guān)規(guī)定，我縣于2015年10月29日下發(fā)《衡山縣鄉(xiāng)鎮(zhèn)區(qū)劃調(diào)整改革實施方案》，《方案》明確：東湖鎮(zhèn)和馬跡鎮(zhèn)合并，設(shè)立新的東湖鎮(zhèn)，鄉(xiāng)鎮(zhèn)駐地在原東湖鎮(zhèn)駐地；白果鎮(zhèn)和長青鄉(xiāng)合并，設(shè)立新的白果鎮(zhèn)，鄉(xiāng)鎮(zhèn)駐地在原白果鎮(zhèn)駐地；嶺坡鄉(xiāng)和望峰鄉(xiāng)合并，設(shè)立新的嶺坡鄉(xiāng)，鄉(xiāng)鎮(zhèn)駐地在原嶺坡鄉(xiāng)駐地；萱洲鎮(zhèn)和賀家鄉(xiāng)合并，設(shè)立新的萱洲鎮(zhèn)，鄉(xiāng)鎮(zhèn)駐地在原萱洲鎮(zhèn)駐地；開云鎮(zhèn)和沙泉鄉(xiāng)合并，設(shè)立新的開云鎮(zhèn)，鄉(xiāng)鎮(zhèn)駐地在原開云鎮(zhèn)駐地。
本次鄉(xiāng)鎮(zhèn)區(qū)劃調(diào)整，衡山縣鄉(xiāng)鎮(zhèn)由17個調(diào)整為12個，減少5個，除上述新設(shè)的開云鎮(zhèn)、萱洲鎮(zhèn)、東湖鎮(zhèn)、白果鎮(zhèn)、嶺坡鄉(xiāng)外，永和鄉(xiāng)、長江鎮(zhèn)、福田鋪鄉(xiāng)、新橋鎮(zhèn)、貫塘鄉(xiāng)、江東鄉(xiāng)、店門鎮(zhèn)七個鄉(xiāng)鎮(zhèn)的名稱和駐地保持不變。