“衢山”之名始于清末，與朐山并用。
1923年《定�？h志》“定海縣總圖”“列島分圖五”載為“衢山”，1923年《定海縣志》冊(cè)一載為“朐山”：“在岱山東北二十五里許，長(zhǎng)三十里，寬十里，居民三千余戶(hù)......亦稱(chēng)衢山�！鼻骞饩w《定海廳志》卷十四：“國(guó)朝蓬萊鄉(xiāng)……光緒六年（1880）新增衢山。”1923年《定�？h志》冊(cè)一：“（蓬萊鄉(xiāng)）初并五都為三都，分十六隩，后改五莊……光緒間增朐山，共六莊。”清宣統(tǒng)二年（1910）設(shè)朐山鄉(xiāng)（含今屬嵊泗縣的大洋山）。
1919年設(shè)衢山鄉(xiāng)，1945年設(shè)衢山區(qū)，轄衢一、衢二、長(zhǎng)涂、黃龍、大羊5鄉(xiāng)，均屬定�？h。
1949年屬滃洲縣，分設(shè)島斗、乍門(mén)2鄉(xiāng)。
1953年改屬岱山縣。
1958年改設(shè)衢山人民公社。
1961年分島斗、太平、桂花、四平、萬(wàn)良、鼠浪5個(gè)人民公社，屬岱山縣衢山區(qū)。
1962年以衢山區(qū)與嵊泗縣的大小洋山、灘滸、徐公等島合建大衢縣。
1964年撤縣復(fù)設(shè)衢山區(qū)，屬定�？h。
1983年島斗人民公社改為鎮(zhèn)。
1984年太平、桂花等4人民公社改為鄉(xiāng)。
1992年撤區(qū)，太平、桂花2鄉(xiāng)并入島斗鎮(zhèn)，鼠浪鄉(xiāng)并入萬(wàn)良鄉(xiāng)。
2001年島斗鎮(zhèn)和四平鄉(xiāng)、萬(wàn)良鄉(xiāng)合置衢山鎮(zhèn)，形成現(xiàn)今之政區(qū)范圍。