1948年前，蘇家?guī)X隸屬牛店鎮(zhèn)平陌堡，至1948年8月密縣解放后，堡甲制取消，屬牛店區(qū)平陌鄉(xiāng)。
1952年我村分別成立了五個互助組，1953年互助組轉(zhuǎn)為四個農(nóng)業(yè)初級合作社，1956年合并為一個高級農(nóng)業(yè)合作社，1958年合并為超化人民公社。
1961年正式成立平陌人民公社，建立蘇家?guī)X大隊(duì)。
1983年12月撤人民公社設(shè)鄉(xiāng)，撤銷蘇家?guī)X大隊(duì)選舉產(chǎn)生蘇家?guī)X村民委員會，隸屬于平陌鄉(xiāng)。
為傳承歷史文化，紀(jì)念白居易、號香山居士，在本地教民冶陶的偉績，有縣紀(jì)檢干部李富裕，村支書吳新義等組織材料，在1989年申報獲準(zhǔn)改“蘇家?guī)X”村為“香山”村，同時改蘇家?guī)X村民委員會為香山村民委員會，沿用至今。
1995年5月平陌撤鄉(xiāng)設(shè)鎮(zhèn)后，香山村民委員會屬于平陌鎮(zhèn)，沿用至今。