中国人民解放军第23军的前身是华东野战军第4纵队。该纵队是由土地革命战争时期红军闽浙军区挺进师、红军闽西南抗日讨蒋第4、第5支队及红军闽南独立第3团等部队发展而来的。1938年2月，在闽南和闽西南坚持斗争的上述红军部队，在福建龙岩白土镇整编为新四军第2支队，辖第3、第4团。 1939年冬，以陈毅、粟裕为正、副指挥的新四军江南指挥部，遵循中共中央“向东作战，向北发展”的方针，派部队渡江北上，开辟苏北抗战根据地。第4团团长张道庸（即陶勇），政治委员李胜（即卢胜）奉命率团部和第2营北渡长江，进至江苏省仪征县月塘集地区，与梅嘉生等率领的挺进纵队第3团合编为新四军苏皖支队。随后，苏皖支队于江都县塘头镇扩编为新四军苏北指挥部第3纵队。纵队司令员兼政治委员陶勇、副司令员陈玉生，参谋长张震东、政治部主任卢胜。
1941年1月，新四军重建军部以后，第3纵队改编为新四军第1师第3旅，下辖第7、第8、第9团和南通独立团,旅长陶勇、政治委员刘先胜。 1944年12月，第3旅奉命渡江南下，于1945年1月进至浙江长兴县，整编为新四军苏浙军区第3纵队。纵队司令员陶勇、政治委员阮英平、副司令员兼参谋长彭德清、政治部主任韩念龙。1945年11月，按照党中央的战略部署渡江北上，于苏北淮安地区整编为新四军华中野战军第8纵队。纵队司令员兼政治委员陶勇、副司令员彭德清、副政治委员伍洪祥、政治部主任韩念龙。下辖5个团，共1.2万余人。
1946年5月，第8纵队于苏中如皋地区整编为新四军华中野战军第1师，粟裕任师长兼政治委员，陶勇任副师长，王集成任副政治委员，梅嘉生任参谋长，韩念龙任政治部主任。下辖第1、第2、第3旅，共1.6万余人。10月底，以第1、第3旅和第7师第20旅各一部及华中军区特务团组建第2旅，列入第1师建制。1947年1月下旬，第1师于山东临沂县大官庄地区整编为华东野战军第4纵队，纵队司令员陶勇、政治委员王集成，参谋长梅嘉生、政治部主任刘文学。所属第1旅编为第10师，第2旅编为第11师，第3旅编为第12师。共3万余人。
1949年2月，根据中央军委关于统一全军编制及部队番号的命令，第4纵队于山东省峰县改称中国人民解放军第23军。隶属第三野战军第7兵团。陶勇任军长，卢胜任政治委员，梅嘉生任副军长兼参谋长，刘文学任副政治委员，谢云晖任军政治部主任，王秩然任后勤部部长。第10师改称第67师，杜屏任师长，李彬山任师政治委员；第11师改称第68师，张云龙任师长，陈茂辉任师政治委员，第12师改称第69师，谭知耕任师长，伍洪祥任师政治委员。全军共3.5万余人。
1952年7月，第25军第73师调归第23军建制，第68师撤销。 1952年9月，第23军参加中国人民志愿军人朝作战，1958年3月第23军撤离朝鲜，回国后该军驻防黑龙江。1969年12月，全军重排番号，第73师改称第68师。
中国人民解放军第24军的前身是华东野战军第6纵队。该纵队是由华中野战军第6纵队、苏中军区独立旅和新四军第7师第20旅大部合编组成的华中野战军第6师发展而来的。1938年春，主力红军长征后留在湘鄂赣、湘赣边、粤赣边、皖浙赣、湘南等到地区坚持斗争的红军游击队，共2300余人，改编组成新四军第1支队。陈毅任司令员，下辖第1、第2团。3月，第1支队到达皖南歙县岩寺镇集中。5月，陈毅率部东进，展开于以茅山为中心的苏南地区。同年冬，新四军第3支队第6团调至苏南，由第1支队领导。同时，第1团调至皖南归第3支队领导。
1939年11月7日，第1支队领导机关与第2支队领导机关合并为新四军江南指挥部领导机关。1941年3月，江南指挥部第2支队改编组成新四军第16旅，归新四军第6师建制。1942年12月31日，新四军第2旅旅部率第4团南下与第16旅合并组成新的第16旅。1945年2月5日，第16旅改编为苏浙军区第1纵队，辖第1、第2、第3支队及独立第2、第3团。1945年11月，新四军苏浙军区第1纵队奉命从苏浙皖边北撤至江苏省东台县，改编为新四军华中野战军第6纵队。王必成任司令员，江渭清任政治委员，段焕竞任副司令员，陈铁君任参谋长，刘文学任政治部主任，下辖5个团，共1.1万余人。
1946年5月，华中野战军第6纵队与苏中军区独立旅合编，组成华中野战军第6师，谭震林任师长兼政治委员，下辖第16、第18旅，共1.4万余人。1947年2月上旬，华中野战军第6师改编为华东野战军第6纵队，王必成任司令员，江渭清任政治委员，皮定均任副司令员，陈时夫任副政治委员兼政治部主任，所属第16、第17、第18旅依次改称第16、第17、第18师，共3.5万余人。
1949年2月，根据中央军委关于统一全军编制及部队番号的命令，华东野战军第6纵队改称中国人民解放军第24军，属第三野战军第8兵团建制。王必成任军长，廖海光任政治委员，皮定钧任副军长，赵俊任参谋长，蓝荣玉任政治部主任。第16师改称第70师，陈仁洪任师长，谢立全任师政治委员；第17师改称第71师，梁金华任师长，陈伟达任政治委员；第18师改称第72师，康林任师长，张闯初任师政治委员。全军共3.6万余人。
1952年7月20日，第71师撤销，第25军师归第24军建制。9月，第24军改归第9兵团指挥，赴朝参加抗美援朝战争。第24军于1955年10月归国，属北京军区，驻防河北承德，部署在京郊和唐山一线，拱卫北京。1968年第70师改为北京卫戍区警卫第3师。1969年12月全军重排番号，第74师改称第70师，并重建第71师(后撤销)。