王氏始祖從本鎮(zhèn)石頭村灣角村遷入落戶，另有從本鎮(zhèn)雙益村遷入，形成本村委最早的村落。
之后，黃氏族人分別有從本鎮(zhèn)排阜村遷入、從廣西遷入、從泗綸鎮(zhèn)遷入落戶，陳氏族人從本鎮(zhèn)排阜村遷入、扶合鎮(zhèn)遷入、泗綸鎮(zhèn)遷入，李氏族人從本鎮(zhèn)鰲頭村遷入，潘氏族人從泗綸鎮(zhèn)高寨遷入，韋氏族人從本鎮(zhèn)排阜村遷入，賴氏族人從本鎮(zhèn)鰲頭村圍寨村遷入和合江村遷入，溫氏族人從泗綸鎮(zhèn)馬橋村遷入，董氏始祖世榮公于1901年從黎少橫崗遷入。
現(xiàn)有王、黃、陳、李、潘、盤、許、韋、賴、溫、董等共11姓，最大姓王，占25%。
建國初郁南縣七區(qū)設(shè)靈凡鄉(xiāng)。
1957年1月，隨郁南縣第七區(qū)劃歸羅定縣，稱加益區(qū)靈凡鄉(xiāng)，1958年2月設(shè)置加益鄉(xiāng)靈凡合作社，同年9月公社化，加益公社設(shè)靈凡大隊。
1961年6月，靈凡大隊撤并于其他大隊。
1974年7月，加益公社復設(shè)靈凡大隊。
1983年撤大隊設(shè)靈凡鄉(xiāng)，隸屬加益區(qū)，1986年撤鄉(xiāng)改設(shè)靈凡村委會，1989年撤村委會改設(shè)靈凡管理區(qū)。
1999年撤管理區(qū)復稱靈凡村委會。
宋元時期屬瀧水縣鄉(xiāng)。
明代屬三都圖。
清末屬羅定直隸州西寧縣鎮(zhèn)南都。
民國三年(1914年)屬郁南縣十二區(qū)；民國三十七年(1948年)屬郁南縣由十二區(qū)改設(shè)的鎮(zhèn)南鄉(xiāng)。
1950年4月屬郁南縣七區(qū)；1957年1月歸屬羅定縣加益區(qū)；1958.2-1958.9屬羅定縣加益鄉(xiāng)靈凡合作社；1958.9-1958.11屬羅定縣加益人民公社靈凡營；1958.11-1959.1屬由羅定、郁南合并而成的羅南縣加益人民公社；1959.1-1959.11屬由羅南縣改稱的羅定縣加益人民公社；1959.11-1961.4屬由羅南縣改稱的羅定縣加益人民公社；1961.4-1961.6屬恢復羅定、郁南兩縣建制后的羅定縣加益人民公社；1961.6-1983.7屬羅定縣加益人民公社；1983.8-1986.11屬羅定縣加益區(qū)；1986.11-1989.5屬羅定縣加益鎮(zhèn)；1989.5-1998.8屬羅定縣(市)加益鎮(zhèn)；1998.8-現(xiàn)在屬羅定市加益鎮(zhèn)。