秦屬太原郡晉陽縣地。
隋屬太原縣地。
北宋太平興國四年（979）平北漢，毀晉陽城，于汾河之東筑城，置平晉縣，治所在今小店街道城西村東。
熙寧三年（1070年）廢平晉縣入陽曲縣。
政和五年（1115）復(fù)置平晉縣。
貞祐四年（1216）廢平晉縣，次年復(fù)置。
元仍稱平晉，屬太原路，后屬冀寧路。
明洪武四年（1371）徙平晉縣治于汾河之西古晉陽南關(guān)（今晉源鎮(zhèn)）。
七年（1374）廢平晉縣，改稱太原縣。
清仍屬太原縣地。
1947年9月，改太原縣為晉源縣。
1949年5月6日區(qū)境屬外一區(qū)、外二區(qū)、晉源縣。
1950年2月8日屬第四區(qū)、晉源縣。
1951年8月撤銷晉源縣，于汾河?xùn)|置太原市第七區(qū)，駐北格鎮(zhèn)。
區(qū)境域分屬太原市第四區(qū)、第七區(qū)。
1954年1月2日屬太原市第四區(qū)，區(qū)人民政府駐小店鎮(zhèn)。
同年6月4日第四區(qū)改名為小店區(qū)，第一區(qū)改名為南城區(qū)，今境分屬小店區(qū)和南城區(qū)。
1957年3月12日分屬太原市郊區(qū)、南城區(qū)。
1959年3月撤銷郊區(qū)，屬南城區(qū)。
1960年太原市撤銷區(qū)建置，成立城市人民公社和農(nóng)村人民公社，區(qū)境分屬小店農(nóng)村人民公社和雙塔、柳巷城市人民公社。
1961年5月18日撤銷“大公社”，恢復(fù)區(qū)建置，區(qū)境分屬南城區(qū)、晉源區(qū)。
1963年4月1日撤銷晉源區(qū)，將太原市所轄農(nóng)村人民公社合并成立太原市郊區(qū)，區(qū)境分屬南城區(qū)、郊區(qū)。
1970年3月26日撤銷太原市郊區(qū)建置，新置南郊區(qū)、北郊區(qū)，區(qū)境屬南郊區(qū)。
區(qū)革命委員會(huì)駐小店。
1984年撤銷人民公社建置、恢復(fù)鄉(xiāng)鎮(zhèn)村建置。
1997年12月12日太原市調(diào)整轄區(qū)行政區(qū)劃，新設(shè)小店區(qū)。
1998年1月1日小店區(qū)掛牌成立，沿用至今。