明初時期，衡山縣設(shè)崇岳、紫蓋、義城、武陽、永平、興樂6個鄉(xiāng)。
洪武十一年（1378年），下編32都1坊。
洪武十四年（1381年），縮編為16都1坊，清康熙四十三年（1704年），知縣李長祚將6鄉(xiāng)16都1坊改編成朝、宗、于、海等17字，期間南岳區(qū)的南岳鎮(zhèn)屬紫蓋鄉(xiāng)七都、海字區(qū)域。
民國二十一年（1932年），撤字建區(qū)屬衡山縣第一區(qū)。
民國二十五年（1936年）7月，廢區(qū)，實行鄉(xiāng)、縣兩級自治制，衡山縣設(shè)義安、南岳2個鎮(zhèn)和55個鄉(xiāng)。
1956年，南岳鎮(zhèn)為衡山縣3個縣轄鎮(zhèn)（城關(guān)、南岳、石灣）之一。
1958年，建南岳人民公社，1960年4月，南岳人民公社劃分為南岳公社和南岳鎮(zhèn)，屬南岳管理局和衡山縣雙重領(lǐng)導(dǎo)。
1983年，政社分設(shè)，南岳公社建南岳鄉(xiāng)。
1984年8月，設(shè)立南岳區(qū)南岳鄉(xiāng)、南岳鎮(zhèn)及后山10村從衡山縣成建制析出。
1985年3月，設(shè)南岳鎮(zhèn)。
1987年1月，南岳鄉(xiāng)并入南岳鎮(zhèn)。
2010年，白龍村更名南山村。