明、清時期隸屬于靈東鄉(xiāng)。
民國時期隸屬于第十區(qū)。
1930年4月至12月紅色政權期間隸屬于復祥區(qū)。
抗戰(zhàn)時期隸屬于武穴區(qū)。
1943年復屬于靈東鄉(xiāng)。
1952年隸屬于第七區(qū)。
1958年成立栗木大隊，隸屬于四望公社。
1961年，隸屬于四望區(qū)栗木小公社。
1975年隸屬于四望公社。
1984年調整為栗木村，隸屬于四望區(qū)。
1987年隸屬于四望鎮(zhèn)。
2020年11月，根據《武穴市人民政府關于同意四望鎮(zhèn)行政村布局調整方案的批復》（武政函[2020]65號）文件，撤銷魏家村村民委員會、栗木村村民委員會，設立栗木村村民委員會，辦公地點設在原栗木村村民委員會。