中国人民解放军第20军的前身是华东野战军第1纵队。1945年11月10日，从苏浙皖边北撤的新四军苏浙军区第2、第4纵队和苏中军区教导旅，在江苏省涟水组成新四军第1纵队。叶飞任司令员，赖传珠任政治委员，谭启龙任副政治委员兼政治部主任，贺敏学任参谋长。苏浙军区第4纵队编为第1旅，苏中军区教导旅编为第2旅，苏浙军区第2纵队编为第3旅，共2.2万余人。
1947年2月，山东野战军第1纵队改编为华东野战军第1纵队。叶飞任司令员兼政治委员，何克希任副司令员，谭启龙任副政治委员，张翼翔任参谋长，汤光恢任政治部主任。第1、第2、第3旅依次改称为第1、第2、第3师，同时辖由中原突围至华东的中原军区第1纵队第1旅改编的独立师，共2.3万余人。
1949年2月，根据中央军委关于统一全军编制及部队番号的命令，华东野战军第1纵队改称中国人民解放军第20军，属第三野战军第9兵团建制。刘飞任军长，陈时夫任政治委员，张翼翔任副军长，汤光恢任副政治委员兼政治部主任，廖政国任参谋长。第1师改称第58师，曾如清任师长兼师政治委员；第2师改称第59师，程业棠任师长，张文碧任师政治委员；第3师改称第60师，陈挺任师长，邱相田任师政治委员。全军共3.2万余人。1950年10月，第20军参加中国人民志愿军抗美援朝，1952年10月，第20军从朝鲜回国。
中国人民解放军第21军的前身是华东野战军第2纵队。该纵队是由新四军第2师和第4师的部分部队发展而来的。它的前身有一部分是土地革命战争时期的中国工农红军第28军。1938年春，留在皖西北地区坚持武装斗争的红28军，改编为新四军第4支队，下辖由鄂豫皖边的红28军鄂豫边游击队编成的第7、第8、第9团、手枪团，共3100余人。1939年5月，新四军江北指挥部成立，第4支队归其指挥。6月，第4支队整编，下辖第7、第9、第14团。同时，以第4支队第8团为基础在安徽定远组成新四军第5支队。1941年1月，新四军江北指挥部改编组成新四军第2师。第4支队改编为第2师第4旅，第5支队改编为第2师第5旅。
1945年10月，由新四军第2师第4、第5旅和第4师第9旅，在山东峰县组成新四军第2纵队，罗炳辉任司令员兼政治委员，韦国清任副司令员，赵启民任副政治委员，詹化雨任参谋长、王集成任政治部主任。辖第4、第5、第9旅，共2.4万余人。1946年1月，改称为山东野战军第2纵队。6月，该纵队第5旅调归淮南军区建制。1945年11月，以新四军第4师第11、第12旅为基础，在淮北组成华中野战军第9纵队，张震任司令员兼政治委员，饶子健任副司令员，姚运良任参谋长，王学武任政治部主任。辖6个团，共1万余人。
1947年2月，第2、第9纵队在山东省郯城合编为华东野战军第2纵队，韦国清任司令员兼政治委员，张震任副司令员，康志强任副政治委员，詹化雨任参谋长，邓逸凡任政治部主任。第2纵队第4旅编为第4师，朱绍清任师长，高志荣任师政治委员；第9纵队除一部改编为淮北支队外，其余编为第5师，姚运良任师长，秦贤安任师政治委员。第2纵队第9旅编为第6师，滕海清任师长兼师政治委员。全军共2.9万余人。
1949年2月，根据中央军委关于统一全军编制及部队番号的命令，第2纵队在徐州以北韩庄，改称中国人民解放军第21军，属第三野战军第7兵团建制。滕海清任军长，康志强任政治委员，高志荣任副军长，吴咏湘任参谋长，邓逸凡任政治部主任。原第4师改称第61师，胡炜任师长，王静敏任师政治委员；第5师改称第62师，周纯麟任师长，周世忠任师政治委员；第6师改称第63师，吴华夺任师长，谢锡玉任师政治委员。全军共3.6万余人。1953年3月，第21军参加中国人民志愿军入朝作战，1958年8月回国。隶属北京军区，驻山西大同。
中国人民解放军第22军的前身是华东野战军第3纵队。该纵队是由山东军区所属鲁南军区和滨海军区部分部队发展而来的。1945年9月14日，山东军区所属鲁南军区第3、第5团和第2军分区主力团，在山东省峄县组成山东军区第8师。王麓水任师长兼师政治委员，何以祥任副师长，刘春任政治部主任，辖第22、第23、第24团，共1万余人。1946年1月，改称山东野战军第8师，何以祥任师长，丁秋生任师政治委员，刘春任政治部主任。
1947年2月，山东野战军第8师与滨海警备旅合编为华东野战军第3纵队。何以祥任司令员，丁秋生任政治委员，覃士冕任副司令员，刘春任政治部主任。下辖2个师，第8师番号不变，滨海警备旅改称第9师，共2.5万余人。3月23日，鲁南军区第10师归第3纵队建制，改称第7师。1948年1月，第7师机关分散至豫皖苏边区各分区工作，加强地方武装建设，其部队分别编入第8、第9师。
1949年2月，根据中央军委关于统一全军编制及部队番号的命令，华东野战军第3纵队改编为中国人民解放军第22军，属第三野战军第7兵团建制。孙继先任军长，丁秋生任政治委员，彭德清任副军长，来光祖任参谋长，刘春任政治部主任。董鸣春任后勤部部长。第8师第24团和胶东军区南海独立团合编为第64师，马冠三任师长，李荆山任师政治委员；第8师第22、第23团改编为第65师，陈士法任师长，王六生任师政治委员；第9师改称第66师，谢斌任师长、刘伟任师政治委员。全军3.2万余人。1950年1月，王一平任军政治委员，张秀龙任副军长，王六生任政治部主任。
第64师1958年改编为舟嵊要塞区部队。第65师1958年改编为舟嵊要塞区部队。第66师1951年撤销，组建空10师和空12师。1958年22军被撤销。