春秋為魯中都邑地。
戰(zhàn)國齊置平陸邑。
秦屬薛郡。
西漢置東平陸縣。
南朝宋改名平陸縣，又于其西置平原縣，于故中都置樂平縣。
北齊徙平原縣離境，省平陸縣入樂平縣。
隋開皇十六年(596)改樂平為平陸。
唐天寶元年(742)改名中都縣。
金貞元元年(1153)改為汶陽縣。
泰和八年(1208)改汶陽縣為汶上縣。
沿用至今。
明屬兗州府東平州。
清屬兗州府。
1914年屬濟(jì)寧道。
1925年屬兗濟(jì)道。
1928年屬省。
1936年屬第一行政督察區(qū)。
1939年建立抗日民主政權(quán)，先后屬魯西行政區(qū)泰西專區(qū)(1940)、冀魯豫行政區(qū)第二專區(qū)(1941)。
同年9月因形勢惡化，汶上縣抗日民主政府轉(zhuǎn)移，至1943年2月重建汶上縣抗日民主政府，屬晉冀魯豫第十七專區(qū)；1948年屬魯中南行政區(qū)第七專區(qū)。
1950年屬泰安專區(qū)。
1953年屬濟(jì)寧專區(qū)。
1967年屬濟(jì)寧地區(qū)。
1983年屬泰安地區(qū)。
1985年屬濟(jì)寧市。