民國時期屬封竇鄉(xiāng)第6保；建國后1951年建政為新生鄉(xiāng)第7村；1955年建社為回龍鄉(xiāng)八村二十六社；1958年為回龍公社二十一管理區(qū)；1962年為幸福公社五大隊；1967年改為幸福公社四大隊；1981年地名普查命名為幸福公社團山大隊；1984年改社為鄉(xiāng)時為幸福鄉(xiāng)團山村；1992年撤區(qū)并鄉(xiāng)建鎮(zhèn)后并入回龍鎮(zhèn)，團山村不變。
2020年，村級建制調整，撤銷高坎村、楠廟村和團山村，合并設立團山村（營府函〔2020〕72號）。