中国人民解放军第34军是华东军区所属江淮军区部分部队和在淮海战役中起义的国民党军第77军第132师合编而成的。1948年5月，华东军区将淮南、淮北军区合并为江淮军区。陈庆先任司令员，曹获秋任政治委员，饶子健、梁从学任副司令员，杨光池任副政治委员兼政治部主任，赵汇川任参谋长，辖第1、第2、第3、第4军分区和第34旅、独立旅等部，共1.9万余人。
1949年2月，根据中央军委关于统一全军编制和部队番号的命令，江淮军区第34旅、独立旅与淮海战役中起义的国民党军第77军第132师合编为中国人民解放军第34军，隶属第3野战军第8兵团。何基沣任军长，赵启民任政治委员，饶子健、过家芳分任第一、第二副军长，吴宪任副政治委员，张秀龙任参谋长，王德贵任政治部主任，王学武任政治委员；以江淮军区独立旅为基础组成第101师，叶道友任师长，杨汉林任政治委员；以江淮军区第34旅为基础组成第102师，要木生任师长，廖成美任政治委员。全军区1.6万余人。
1949年6月，第34军进驻南京，担任警备任务。7月，军部兼南京警备司令部，袁仲贤任司令员兼政治委员，何以祥、何基沣分任第一、第二副司令员，张藩任副政治委员，饶子健任参谋长，王德贵任政治部主任。7月，第100师调归第33军建制，11月，第101师调归第10兵团。12月，第102师师部调归第三野战军特种兵纵队，后改为炮兵第3师师部。
1950年1月，第3野战军教导师6个团调归第34军兼南京军区警备司令部建制，同时，军机关一部组建华东军区航空处。11月，军机关及其余部队改编为华东公安第13师，第34军番号遂撤销。
中国人民解放军第35军，是由鲁中南纵队和由济南战役中起义的国民党军整编第96军一部合编而成的。1948年7月，华东军区将鲁中南军区各分区基干团组成华东野战军鲁中南纵队，鲁中南军区司令员兼政治委员傅秋涛兼任纵队司令员和政治委员，归山东兵团指挥。10月，鲁中南纵队所属部队进行整编，钱钧任司令员，张雄任政治委员，所属部队统一改编为第46、第47师，共6个团1.4万人，属华东野战军山东兵团建制。10月29日，在济南战役中起义的国民党军吴化文部被改编为人民解放军第35军，吴化文任军长。
1949年2月，根据中共中央军委关于统一全军编制和部队番号的命令，鲁中南纵队与第35军合编为中国人民解放军第35军，属第三野战军第7兵团建制。吴化文任军长，何克希任政治委员，杨友柏、胡大荣任副军长，张雄任副政治委员，孔繁彬任政治部主任。下辖第103师，于怀安任师长，彭胜标任政治委员；第104师，方明胜任师长，严政任政治委员；第105师，何志斌任师长，宋宪章任政治委员。全军共2.2万余人。
1949年9月，第103、第104、第105师分别兼衢州、绍兴军分区和杭州警备区。1950年1月，第35军番号撤销，军部及军属炮兵团调归华东海军。
中国人民解放军第36军是由绥远起义的国民党军一部改编而成的。1949年9月19日，国民党绥远省政府主席、西北军政长官公署副长官董其武率绥远省军政各界领导人与各族代表共39人联合署名通电起义。12月9日，中国人民革命军事委员会决定，将董其武所部就地改编为中国人民解放军，并任命了领导人。
其第111军在内蒙包头地区改编为中国人民解放军第36军，刘万春任军长，康健民任政治委员，王建业、张惠源任副军长，樊折桂任参谋长，李远任政治部主任。下辖：由第111军第258师改编的第106师，赵晓峰任师长，张乃更任政治委员；由第320师改编的第107师，马逢辰任师长，杨安平任政治委员；由第310师改编的第108师，张副元任师长，王志武任政治委员。同时以独立第3旅、保安骑兵第4旅、整编骑兵第13旅等部改编为军直骑兵旅，乔汉魁任旅长。全军共1.3万余人。
1950年12月，第36军归华北军区第23兵团建制。1951年1月，随兵团移驻河北省衡水地区。4月，军直骑兵旅撤销。1952年2月，第36军军部与第37军军部一起调中央财委编为建筑工程部，第107师与第37军第110师合编为第107师，直属兵团领导，其他部队分别调归兵团学习团或编为建筑工程部队，第36军番号撤销。
中国人民解放军第37军是由绥远起义的国民党军一部改编而成的。1949年9月19日，国民党绥远省政府主席、西北军政长官公署副长官董其武率绥远省军政各界领导人与各族代表共39人联合署名通电起义。12月9日，中国人民革命军事委员会决定，将董其武所部就地改编为中国人民解放军，并任命了领导人。
其新编独立第7师等部改编为中国人民解放军第37军，张世珍任军长，帅荣任政治委员，卫景林、冯梓任副军长，化博知任参谋长，张逊之任政治部主任。下辖：由新编独立第7师改编的第109师，温汉民任师长，曾威任政治委员；由第326师改编的第110师，王崇仁任师长，尚英任政治委员；由第319师及保安第2旅等部改编的第111师，张朴任师长，李登嵩任政治委员，同时以保安骑兵第5、第6旅等部改编为军直骑兵旅，安恩达任旅长。全军近1.3万人。
1950年12月，第37军归华北军区第23兵团建制。1951年1月，随兵团移驻河北省衡水地区。4月，军直骑兵旅撤销，其部队与同时撤销的兵团直属骑兵第4师一部分分别编入各师。1952年2月，第37军军部与第36军军部一起调中央财委编为建筑工程部，第110师与第36军第107师合编为第107师直属兵团领导，其它部队分别调归兵团学习团或编为建筑工程部队。第37军番号撤销。