小衢山位于島扎北面，由紅山岙、大南岙、小南岙及紅毛崗墩，大、小涼帽山組成。小衢山隸屬岱山縣衢山鎮(zhèn)，故名。小衢山于光緒年間屬蓬萊鄉(xiāng)衢山莊，民國(guó)年間先后屬定海縣，贏洲縣之島斗鄉(xiāng)。解放后，除1954-1958年間置小衢鄉(xiāng)外，余皆屬島斗鄉(xiāng)或島斗公社，2001年7月并入衢山鎮(zhèn)。丘陵走向：呈東西走向。陸域面積為1.837平方公里，其中大部分為丘陵。海岸線長(zhǎng)8.77公里。最高點(diǎn)海拔200.8米。小衢山島海岸線曲折，有5個(gè)岙口，其中東北的紅山岙，縱深300米，寬200米，南部有大南岙，長(zhǎng)120米，寬200米。島南岸有水深10米以上的岸線1.2公里，后方有小片海涂可圍。土坯粗骨土，坡度15°。植被硬闊樹(shù)種，種植松樹(shù)為主。島上設(shè)2個(gè)行政村，轄3個(gè)自然村。
1949年屬島斗鄉(xiāng)十三保；1950年解放初屬島斗鄉(xiāng)十三村；1953年屬小衢鄉(xiāng)；1956年屬小衢鄉(xiāng)衢一漁業(yè)生產(chǎn)社；1958年建立小衢漁業(yè)大隊(duì)，屬衢山公社太平管理區(qū)；1961年屬島斗公社；1984年小衢漁業(yè)大隊(duì)劃分成紅山岙、大南岙兩個(gè)村民委員會(huì)，屬島斗鎮(zhèn)；后于2003年7月25日將小衢紅山岙、小衢南岙兩村合并成立小衢村，2017年3月變?yōu)樾♂樯鐓^(qū)村。
2010年小衢島被上海柘中集團(tuán)征用，征用土地1954.75畝，892.85畝被租賃，后又拍賣(mài)給浙江金鑫集團(tuán)至今�，F(xiàn)在小衢島正在被金鑫集團(tuán)開(kāi)發(fā)，開(kāi)采礦石。原社區(qū)村委座落于衢山鎮(zhèn)望海路62號(hào)，現(xiàn)在的新社區(qū)村委位于衢山鎮(zhèn)小塘岙(老水泥廠北面)(于2016年11月17日搬遷暨農(nóng)歷十月十八)；距鎮(zhèn)政府駐地0.7千米。
自從1995年執(zhí)行“小島遷大島建”的精神，小衢島上的居民陸續(xù)遷居到衢山本島的各個(gè)村，自己買(mǎi)房居住。現(xiàn)在小衢社區(qū)村戶(hù)籍人口有1539人，668戶(hù)；設(shè)有黨支部一個(gè)，有中共黨員41名，預(yù)備黨員1名；五保戶(hù)4戶(hù)；4人；低保戶(hù)24戶(hù)，計(jì)32人；低保邊緣1戶(hù)，2人；殘疾人56人；小衢村是一個(gè)以純漁業(yè)為主的行政村，大小漁船共有60艘；其中帆張網(wǎng)作業(yè)漁船24艘，拖蝦作業(yè)漁船2艘，流刺網(wǎng)作業(yè)漁船5艘，油運(yùn)輔助船1艘，小型張網(wǎng)漁船21艘，接駁船7艘。