遂川縣原名龍泉縣，相傳“有二龍戲于武陵瀧（草林沖），土石崩裂，后人因以為龍泉”。
夏商屬古揚州地域南境。
春秋戰(zhàn)國，先后屬吳、越、楚3國。
秦屬九江郡。
漢屬豫章郡廬陵縣。
東漢初平二年（191），立南部都尉置廬陵郡，屬揚州刺史部。
建安四年（199）孫策定廬陵郡，建縣名曰“遂興”，此為建縣之始。
三國時，屬吳國領(lǐng)地，嘉和四年（235）吳大帝改遂興為“新興”，隸屬廬陵郡。
南北朝沿襲晉制。
隋開皇十年（590）廢遂興等6縣，置安豐縣，遂興為其一。
次年改安豐為泰和縣。
唐襲隋制。
南唐保大元年（943），析泰和龍泉鄉(xiāng)什善鎮(zhèn)置龍泉場。
南唐李璟十八年（960）升場為縣，名“龍泉”縣，以場治為縣治，在水南十七都慈云寺（今泉江鎮(zhèn)小溪村境內(nèi)）。
宋開寶八年（975）南唐國亡，歸宋管轄。
宣和三年（1121）改龍泉為“泉江”縣。
紹興元年（1131）復稱龍泉縣，隸屬江南西路吉州軍。
元元貞元年（1295）隸屬江西行中書省吉安路。
明屬江西承宣布政使司湖西道吉安府。
清沿襲明制。
1912年冬，縣直屬省。
1914年，因與浙江、貴州兩省之龍泉縣同名，易名“遂川縣”至今。
1932年，江西劃為13個行政區(qū)，遂川屬第10行政區(qū)。
1935年，全省縮為8個行政區(qū)，遂川隸屬第3行政區(qū)，直至1949年解放。
1949年至今，先后屬江西省贛西南區(qū)、吉安分區(qū)、吉安專區(qū)、井岡山專區(qū)、井岡山地區(qū)、吉安地區(qū)、吉安市。