秦始皇二十五年（222），小昆山屬會稽郡婁縣南境。
建安二十四年（219），陸遜因軍功被封為華亭侯（華亭始見于史志），小昆山地區(qū)為其封地。
天寶十載（751），吳郡太守趙居貞奏割昆山南境、嘉興東境、海鹽北境置華亭縣，小昆山地區(qū)為華亭縣轄地。
1912年婁縣并入華亭縣，小昆山設(shè)鄉(xiāng)，同年4月小昆山鄉(xiāng)實行地方自治。
1929年小昆山鄉(xiāng)與錢河鄉(xiāng)合并，稱松江縣第九區(qū)。
1934年3月第九區(qū)（小昆山）與第八區(qū)（天馬山）合并為第四區(qū)。
1942年7月，第四區(qū)改第三區(qū)。
1949年8月建天昆區(qū)。
1957年8月撤區(qū)并鄉(xiāng)，建天馬鄉(xiāng)。
1984年2月建昆岡鄉(xiāng)。
1993年7月15日，撤銷昆岡鄉(xiāng)建制，建立小昆山鎮(zhèn)。
1994年2月撤鄉(xiāng)建大港鎮(zhèn)。
2001年1月撤銷小昆山鎮(zhèn)、大港鎮(zhèn)，組建松江科技園區(qū)。
2007年7月撤銷松江科技園區(qū)，恢復(fù)小昆山鎮(zhèn)建置，地名沿用至今。