第38军最早的部队112师334团前身为彭德怀等所率领的湘军独5师第1团，于1928年发动平江起义创建的工农红军第5军一部，是著名的中央苏区红军两大主力之一红三军团的建军团。该团长征时是红三军团第11团，长征到达陕北时番号改为红1军团第4师第10团，1937年8月编为八路军115师343旅686团。王平上将，张爱萍上将先后任该团政委。113师338团的前身为1932年重建的红25军75师一部，长征到达陕北时番号改为红15军团75师223团，1937年8月编入八路军115师344旅。112师335团，113师337团的前身分别为八路军115师343旅的新编第2营和补充团。
抗日战争初期，上述部队在晋冀豫地区艰苦转战，1939年随罗荣桓进军山东和苏北，创建敌后根据地。发展成山东军区第4、第6、第13、第23团。1945年8月，第6，第13团与其他部队合编为山东解放军第1师，第4和第23团与其他部队合编为山东解放军第2师。1945年9月，山东1、2师和东北挺进纵队（东北军起义的111师万毅师）陆续从陆路和海上开赴东北，编为东北民主联军直属第1、2师和第7纵队。1946年8月，合编为东北民主联军第一纵队，改称第一纵队第1、第2、第3师，李天佑将军任首任司令。
辽沈战役结束后，11月根据中共中央军委关于统一全军编制及部队番号的命令，东北人民解放军第1纵队该称中国人民解放军第38军，属第4野战军第13兵团建制，李天佑任军长，梁必业任政治委员兼政治部主任，曹里怀任副军长兼参谋长。原辖第1师改称第112师，江拥辉任师长，黄玉昆任政治委员；第2师该称第113师，贺东生任师长，王树君任政治委员；第3师该称114师，刘贤全任师长，方国安任政治委员。同时将辽北军区独立第10师拨归第38军建制，改称第151师， 赵东寰任师长，蔡明任副政治委员（政委未任命）。这时，38军已有近5万人，并组建了炮兵，工兵和汽车部队。
1950年10月，该军编为志愿军第38军，随13兵团率先入朝参战，军长为梁兴初将军，下辖112，113，114师。从朝鲜战场回国后，38军驻防吉林通化。在苏联陈兵百万的态势下，1966年2月由代总参谋长杨成武上将提议将该军调到保定地区，接替第69军的防务，拱卫京师。38军由此获得了非同一般的待遇，1969年2月第一个编组为摩托化军，辖3个摩步师，1个炮团，1个火箭炮团，1个高炮团和相应保障部队。1982年增加一个坦克6师，一个直升机大队，在当时38军的编制中，一个摩步师辖3个摩托化团，1个坦克团，1个炮团，1个高射炮团和相应保障分队。全军编6.4万人，坦克240辆，汽车3600辆。
第39军的前身是红军时期的红15军团。该军团由两部分组成：一是红军长征最先到达陕北的红25军；另外一部分是陕北苏区的红26军。红15军团是1932年红四方面军从鄂豫皖根据地突围后，留在苏区坚持斗争的五个团重新组建的，由徐海东任军长(后由程子华任军长，徐海东任副军长，吴焕先任政委)，坚持大别山斗争。后根据鄂豫皖省委的决定，红25军踏上西征的征途。红25军经过艰苦转战，率先到达陕北苏区，与刘志丹、高岗领导的红26军会合，组建红15军团。徐海东任军团长，程子华任政委，刘志丹任副军团长，高岗任政治部主任。
抗日战争爆发后，红15军团编为八路军115师344旅，旅长为赫赫有名的徐海东将军。不久徐海东等陆续回延安学习，军委任命杨得志为代旅长，黄克诚为政委。部队后扩大为八路军第五纵队，由总部直接领导。1940年根据中央发展华中的命令，黄克诚率第五纵队大部南下华中，留在华北的部队日后发展为二野的第六、第一纵队的一部分(即今天第12集团军，第16集团军之一部，以及第13集团军149师)。黄克诚部在苏北与陈毅的新四军会合后，后改编为新四军第三师，黄克诚任师长兼政委，原344旅整编为第10旅，刘震任旅长，不久洪学智调任师参谋长，吴文玉(即吴法宪)任政治部主任。
1946年，原新四军三师的第八、十(即344旅)两个旅组建为东北民主联军第二纵队。第7旅编为第六纵队第16师(即今天的第54集团军第127机械化步兵师的前身)。刘震任二纵队司令员，吴法宪任政委，洪学智调任六纵队司令员。1948年11月1日，第2纵队改称中国人民解放军步兵第39军，刘震任军长，吴法宪任政治委员，谭友林、孙子仁任副军长，王良太任参谋长，李雪三任政治部主任。原辖第4师改称第115师，胡继成任师长，李世安任政治委员；第5师改称第117师，张竭诚任师长，李少元任政治委员；东北人民解放军独立第7师调归该军建制，改称第152师，罗华生任师长，邱子明任政治委员。
朝鲜战争爆发后，第39军随13兵团首批入朝参战。自朝鲜回国后，第39军长期驻守辽东半岛，是我军布防在东北首屈一指的主力军团，担负警戒苏联、朝鲜半岛军事态势的战略力量。
中国人民解放军第40军的前身是东北野战军第3纵队。 该纵队是由鲁中军区和冀热辽军区部分武装力量发展而来的。 1942年8月1日，由八路军同东纵队机关为主组成鲁中军区，罗舜初任司令员兼政治委员，石潇江任参谋处长，周赤萍任政治部主任。辖第1（第4旅兼）、第2、 第3军分区和军区直属团。1943年9月，增编第4、第5军分区。1945年8月，鲁中军区主力部队改编为山东军区第3、第4师和警备第1、第2、第3、第4旅。
1945年8月， 为执行中共中央关于向东北发展，并争取控制东北的战略部署，冀热辽军区第16军分区司令员曾克林、政治委员唐凯，奉命率领4个团4000余人，进至辽宁沈阳、 本溪地区。10月扩编为第21、第23旅等部。11、12月间，鲁中军区政治委员罗舜初，奉命率领山东解放军第3师、山东军区警备第3旅共9000余人，先后进至辽宁辽阳、鞍山地区。
1946年1月根据中共中央东北局的决定，在辽宁本溪地区由山东军区第3师、山东军区警备第3旅，冀热辽第16军分区所辖之第21、第23旅等部队合编为东北民主联军第3纵队，纵队部由东北民主联军辽东（南满）军区领导机构兼。程世才任纵队司令员，罗舜初任政治委员，曾克林任副司令员，唐凯任副政治委员。下辖：第7旅，由山东解放军第3师为主改编； 第8旅，由冀热辽军区第16分区第21旅改编；第9旅，由山东军区警备第3旅及第16军分区第23旅改编。全纵队共2.6万余人。7月，旅改称师。11月纵队部与辽东军区领导机构分开。曾克林任纵队司令员，罗舜初任政治委员，解方任副司令员兼参谋长，唐凯任副政治委员兼政治部主任。1948年1月，东北民主联军第3纵队改称东北人民解放军第3纵队，属东北野战军领导。
1948年11月，根据中央军委关于统一全军编制及部队番号的命令，东北人民解放军第3纵队在辽宁省锦州， 改编为中国人民解放军第40军。韩先楚任军长，罗舜初任政治委员，沙克任副军长，刘西元任副政治委员，卓雄任政治部主任。原辖之第7军改称为第118师，邓岳任师长，李伯秋任政治委员； 第8师改称第119师，宁贤文任师长，刘光涛任政治委员；第9师改称第120师，郑大林任师长，李改政治委员； 东北人民解放军独立第1师调归该军建制改称第153师， 管松涛任师长，马毅之任副政治委员（政委未任命）。全军共5.9万余人。1949年 3月，第40军编入第四野战军第12兵团建制。罗舜初任军长（后由兵团副司令员韩先楚兼）、卓雄任政治委员（后袁升平），蔡正国任副军长，何振亚任参谋长（后宁贤文），李伯秋任政治部主任。
1959年10月19日，第40军作为中国人民志愿军首批入朝作战，1953年7月，40军从朝鲜回国后长期驻守辽宁锦州。