古為呂國地，歷夏、商、西周。
春秋初屬宋，繼歸陳。
戰(zhàn)國屬楚。
秦置新蔡縣（今古呂街道），先屬潁川郡，后屬陳郡。
西漢屬汝南郡。
王莽時易名新遷縣。
東漢復(fù)名新蔡縣，屬汝南郡。
三國屬魏豫州汝南郡。
魏景初二年（238）豫州增置汝陰郡（今安徽省阜陽市），新蔡縣屬之。
晉屬汝陰郡。
南朝宋屬新蔡郡。
東魏置蔡州，北齊廢。
隋開皇十六年（596）并置廣寧縣和舒城縣。
仁壽二年（602）改廣寧縣為汝北縣。
大業(yè)二年（606）改汝北縣為新蔡縣，屬蔡州汝南郡。
唐武德四年（621）復(fù)置舒城縣，并置舒州，領(lǐng)新蔡、舒城、包信3縣。
貞觀元年（627）省平輿入新蔡，隸豫州。
寶應(yīng)元年（762）屬蔡州。
五代因之。
宋屬京西北路蔡州汝南郡淮康軍。
金初屬南京路蔡州。
泰和八年（1208）改屬息州。
天興三年（1234）金亡，地屬蒙古。
元至元三年（1266）合并江北州縣，省新蔡入息州。
大德八年（1304）復(fù)置新蔡縣，屬河南省行中書省汝寧府息州。
至正中再廢入息州。
明洪武四年（1371）復(fù)置，屬河南布政司汝寧府。
清沿明制。
1912年屬汝寧府。
1913年屬豫南道。
1914年屬汝陽道。
1927年直屬河南省。
1932年屬河南省第八行政督察區(qū)。
1940年屬信陽專區(qū)。
1965年屬駐馬店專區(qū)。
1969年屬駐馬店地區(qū)。
2000年屬駐馬店市。