巩义市建置较早。尧、舜时代属豫州。夏代，禹封夏伯于此，称夏伯国。太康时，在此建都斟鄩。商代改称“阙巩”。西周、春秋、战国时称“巩伯国”。秦庄襄王元年(公元前249年)始置巩县。秦、西汉初属三川郡。汉武帝时属河南郡。晋时，巩境包括偃师东部一部分。北魏时属荥阳郡。东魏时成皋郡。北齐(公元550—577年)废巩县，直归成皋郡。隋开皇十九年(公元599年)复巩县，属河南郡。唐初属洛州，唐开元初(公元713年)属河南府。北宋景德四年(公元1007年)，划巩县西部、偃师东部、登封北部设永安县以护宋陵，初属河南府。北宋政和三年(公元1113年)升格为永安军(直属中央)。南宋理宗时，改永安县为庆寿县。金贞元元年(公元1153年)，改永安县为芝田县。元属河南府路，后废芝田县，恢复原先巩县建置。元至正二十年(公元1361年)，一度升巩县为军州万户府。明、清时期，巩县属河南布政使司河南府。民国初年属豫西道河南府。民国五年(公元1916年)属河南道。民国十六年(公元1927年)为河南省直辖县，受洛阳行政督察专员公署督导。

1949年中华人民共和国成立后，巩县初属郑州专区公署。1954年属开封专区公署。1958年底归郑州市。1961年复属开封专区公署。1983年重回郑州市。1991年6月12日，经国务院批准，撤销巩县，建立巩义市。2014年1月，全面归省直管。