1949年同屬三港鄉(xiāng)，同年7月撤鄉(xiāng)建區(qū)屬遞鋪區(qū)，稱赤塢村、赤山村、芝村村；1950年春赤塢村屬三嶺鄉(xiāng)，赤山村和芝村村同屬雙港鄉(xiāng)；1956年2月屬雙建鄉(xiāng)；1956年赤塢村建赤塢和漁橋兩個高級社，赤山村以青山、明山兩個初級合作社合并為赤化高級合作社，芝村村建公益高級社；1958年10月屬遞鋪公社芝村管理區(qū)，稱紅山生產(chǎn)隊、芝村生產(chǎn)隊；1961年9月屬華豐公社稱紅山大隊（后稱尺五大隊）、聯(lián)山大隊（從紅山生產(chǎn)隊分出）、芝村大隊；1981年5月尺五大隊因與本縣赤塢公社的赤塢大隊同音而更名為赤漁大隊，聯(lián)山大隊以駐地更名為赤山大隊；1981年11月改稱南北莊公社赤漁大隊、赤山大隊、芝村大隊；1984年1月改稱南北莊鄉(xiāng)赤漁村、赤山村、芝村村；2000年1月撤南北鄉(xiāng)并入遞鋪鎮(zhèn)，仍稱赤漁村、赤山村、芝村村；2007年三村合并稱赤芝村。
2014年屬遞鋪街道，名稱沿用至今。