中条山西侧的第八十军终于撤到了黄河边，因为争抢渡河导致溃不成军。新编第二十七师担负着掩护主力渡河的任务，多数官兵坚守阵地，奋力作战，激战中师长王峻、副师长梁希贤和参谋长陈文祀相继阵亡。
第五集团军的损失最为惨重。部队被包围后，第十七军以团为单位分散向西突围。军长高桂滋与大部队分离，带着少数官兵在日军的包围圈里转了二十多天，其间参谋长金醒吾和副官长王秀泉被俘，高军长本人几次遇险并企图自杀，最终侥幸逃了出来。而第十七军官兵都已跑散，在日军的包围圈中四处乱突，最终渡过汾河进入吕梁山的只有四个团，那些没有冲出来的官兵散落在中条山里不知所终。
向西北方向突围的第三军几乎全军覆没。第三军从五福涧南渡黄河无望后，军长唐淮源率部开始突围。但是，直到十一日，仍旧无法冲出日军的包围圈。此时，第五集团军总司令部以及第十七军军长高桂滋都已不知去向。十四日，日军的包围圈越缩越小 。唐军长召集第七师师长李世龙、第十二师师长寸性奇和第三十四师师长公秉藩在山谷中的一座庙里开会，决定把伤员藏在山洞里，部队化整为零以团为单位向外突围。军长唐淮源率领一个团奋力突围未成，被日军包围在一座小山上。不愿做俘虏的他在日军逼近时举枪自戕于山顶。
日军进攻中条山时，八路军向晋南战场伸出了援手。日军发动进攻的当天，即五月七日，八路军攻入白晋路（白圭至晋城）上的牛寺，捣毁日军的地堡，破坏了铁路。九日，又连续攻克同蒲路上十几个日军的据点。十日，八路军第一二九师对同蒲路以南、白晋路长治以南、平汉路石家庄以南的各条铁路进行了破袭。十三日，又伏击了日军运输队，突袭并烧毁了日军位于阳曲的仓库。太行山根据地内的八路军，由于受到第一战区与其对峙的国民党军四个军的阻挡，不能向西进入中条山，于是他们向东而出，破坏了邢台附近的铁路，令日军的后方交通中断了三天。
日军大规模的军事进攻告一段落后，仍在中条山里反复搜索和扫荡，继续围歼第一战区失落的零散官兵。直到六月十五日，日军才宣布“中条山会战以赫赫战果胜利结束”。蒋介石认为，中条山惨败为“抗战史最大之耻辱”。 战后的史料显示，在中条山作战中被俘虏的中国军队官兵，大部分被押送到了南洋、“满洲国”或日本本土做苦工。他们绝大多数都悲惨地死于非人的劳动强度和日本监工的虐待。
由于国民党军在中条山的惨败，华北抗日根据地失去了重要的战略支撑。日军在完成中条山作战后，终于可以毫无顾忌地打击共产党武装创建的抗日根据地了。只是，日军华北方面军突然发现，情形并非如他们预想，把中条山一带的蒋介石的军队赶走了，日军在华北丧失了牵制共产党武装的另一股力量。由于共产党武装极强的渗透与扩展能力，对于日军来讲，整个华北地区的局势“反而恶化了”。从此，华北的游击战便由中共军独占了。”
于是，日伪军对华北敌后抗日根据地的围剿，其残暴到了丧心病狂、灭绝人性的程度。自一九四一年开始，共产党敌后抗日武装进入了最艰难的时期。日军对抗日根据地的“扫荡”持续不断，其总兵力一度达到八十多万，甚至超过了正面战场的兵力投入。在日军的不断进攻下，华北抗日根据地被切割分隔，散布很广的八路军各部队相互之间的联系十分困难，每一支部队都处在激烈的作战和频繁的转移中。
中条山作战后，日军大本营撤换了华北方面军司令官多田骏，委任所谓的“中国通”冈村宁次到华北任职。冈村宁次把华北地区分成日军可以控制的“治安区”、八路军控制的“未治安区”以及双方交错控制的“准治安区”---对应八路军的说法，便是“敌占区”、“根据地”以及“游击区”。
一九四一年八月十七日，在冈村宁次的亲自部署下，日军第一一o、第三十三、第二十一师团企图合围八路军晋察冀边区，封锁、消耗、摧毁八路军根据地。冈村宁次决定改变以往作战目标过大的弊端，集中兵力专门针对共产党武装最早创建的晋察冀根据地，一路自长城向南，一路自石家庄、井陉、阳泉一线向北，两路对进“采取鱼鳞式的包围阵”，“动用一切可以动用的装备”以确保达成作战目标。
晋察冀军区司令员聂荣臻派出一支小分队携带一部电台，不断地与找寻八路军首脑机关的日军周旋，而晋察冀军区机关以及主力部队则向西奔袭，进入太行山北麓，利用日军在龙泉关方向敞着的口子，顺利跳出了敌人从河北阜平至山西五台一线设置的包围圈。
九月二十五日，日军侦察到晋察冀军区第一分区杨成武部指挥机关隐蔽在易县西南六十余里的狼牙山地区，立即集结起三千多兵力对狼牙山实施奔袭。晋察冀军区命令第一分区机关和主力部队转移至外线，第一分区一团七连则奉命扼守险要地形阻击敌人，以掩护游击支队、地方党政机关以及狼牙山周围村庄的百姓转移。一团团长邱蔚叮嘱七连连长刘福山、指导员蔡展鹏：必须死死地拖住敌人，至少明天中午十二点以前，不能让鬼子越过狼牙山顶峰棋盘坨。
面对三千多日军的进攻，七连官兵在山上到处开火，让鬼子以为满山都是八路军。激烈的战斗从凌晨一直持续到太阳落山，在七连的前沿阵地上，二班和机枪班的战士大部阵亡，刘连长身负重伤。危急时刻，六班班长马宝玉奉命坚守阵地掩护连队撤离。六班拼死作战，誓死不退，入夜时全班只剩下五名战士。
天又亮了，日军猛烈炮击棋盘坨后，步兵小心翼翼地开始向山上爬，六班的五名战士投出最后的手榴弹、打完最后的子弹，高呼着“八路军誓死不当俘虏”，砸烂枪支，从棋盘坨右侧的牛角壶峰纵身跳下悬崖绝壁。马宝玉、胡福才和胡德林坠落崖底牺牲，葛振林、宋学义挂在山腰的树枝上脱险归队。狼牙山五壮士的英雄壮举流传至今。