尽管日军已占领太原以及山西的北部和中部，阎锡由和卫立煌的主力部队都已向南撤退，但在日军占领的区域内，八路军仍旧从东到西、从南到北地广泛地分布着。太原失守后，中国第二战区拟对太原发动反击作战。在临汾举行的军事会议上，第二战区决定把现有部队分编为中央、东路和西路三个集团军，其中东路军以八路军总司令朱德、副总司令彭德怀为正副指挥，统辖八路军第一二九师和第一一五师一部、山西新军决死队第一和第三纵队以及第八十四师朱怀冰等部，负责向正太路的榆次、娘子关一带出击。
就在中国第二战区准备实施反击作战时，日军也在策划向山西南部地区发动作战，其主要目的是彻底消灭共产党领导的抗日武装。日军的部署是：由香月清司指挥第一军所属的川岸文三郎的第二十师团、山冈重厚的第一o九师团，由太原沿同蒲路两侧南下，直指晋南的运城和风陵渡；土肥原贤二的第十四师团由新乡向西，沿着黄河北岸攻击晋南的运城、平陆等地；下元熊弥的第一o八师团自邯郸出发向西，经武安、涉县、黎城、潞城、长治、屯留、安泽向临汾攻击。日军在这个方向上投入的兵力，并不亚于徐州会战的参战兵力，足见他们决心把共产党和国民党的敌后武装一举全歼。
二月二十日，日军第一o八师团协同沿同蒲路南下的第二十师团向长治发起攻击。李家钰的第四十七军第三一一旅一部奉命阻击，中国守军在与日军的血战中全部阵亡，长治失守。接着，晋南重镇临汾陷落。日军来势凶猛，以至于中国第二战区反击太原的计划已无实施的可能。一股日军从汾阳方向向西，直逼阎锡山的退路隰县。阎锡山命令王靖国的第十九军前往迎敌。但是，经过一昼夜的激战，位于川口的第七十师阵地被日军突破， 旅长赵锡章阵亡， 而在大麦郊第六十八师阵地，中国官兵激战两昼夜后，阵地还是被日军突破。
刘伯承指挥的八路军第一二九师，决定在正太路向日军发起袭击，地点选在了几个月前娘子关战役时伏击过日军的长生口。二十二日，第三八五旅七六九团开始围困旧关，井陉的日军果然出动增援了，结果在长生口伏击圈内遭到七七一团和七七二团的猛烈袭击。战斗持续了五个小时，日军八辆汽车被击毁五辆，两百余人的队伍被击毙一百三十多人，其中包括这股日军的指挥官荒井丰吉少佐。
川口失守后，八路军第一一五师奉命支援友军作战，但是这一次该师出师不利——师长林彪出了意外。三月二日九时许，林彪穿着缴获的日本军大衣，骑着缴获的日军大洋马，路过隰县以北的千家庄时，被驻防当地的王靖国的第十九军哨兵误以为是日军开枪所伤---子弹从右侧进由右侧背穿出后，幸未中要害 。第一一五师师长随即由第三四三旅旅长陈光代理。
三月十七日，日军第二十师团一部从蒲县出发向大宁进攻，遭到杨得志的六八五团的截击，被迫撤回位于吕梁山脉中南部的午城。第一一五师把午城包围起来并实施攻击。接着，第一一五师派出六八六团在井沟附近设伏，从临汾增援而来的日军第-0八师团步兵六百余人、骑兵二百余人和一个炮兵中队进入了伏击圈。八路军发起突然攻击后，日军经过短暂的混乱疯狂反击，伏击圈内的战斗进入胶着状态。傍晚时分，六八六团将部队分置于井沟公路的南北两侧，然后一起夹击，终将数百日军全部解决，并“缴获步枪一百余支，机枪十挺”。
八路军第一二o师师长贺龙则向占领着宁武、神池、河曲、偏关、保德、五寨和岢岚县的日军发动了攻击。 第三五九旅先把岢岚城围起来，将通往城里的水源截断，就这样围了三天，城里的日军果然弃城出逃了。出逃的日军在三井镇被第一二o师包围，官兵们奋勇冲击，日军抵挡不住死伤过半。八路军的持续攻击令日军丧失了战斗意志，先后放弃了保德、河鹧、偏关和五寨县城，向朔县方向逃窜。第一二o师紧追不舍，一直追到神池并收复了该城。八路军第-二o师一口气收复了晋西北的七座县城。
长生口伏击战后，为配合津浦路南段的作战，刘伯承的第一二九师迅速南下，以主力进军晋东南的襄垣地区，拟侧击西进的日军。三月十六日，陈锡联的第三八五旅七六九团突袭黎城，又以主力击退涉县的东援之敌；而陈赓的第三八六旅，则在日军从潞城增援黎城的必经之路神头岭设伏。神头岭位于潞城东北十几公里处， 神头岭公路是从一条深沟中间穿过的，两侧险峻的山势是个伏击的好地方。但是，当旅长陈赓带领干部们勘察了现场后，不禁大吃一惊：军用地图与现场相差甚远，神头岭段公路竟然盘在山梁之上。干部们不知这下如何是好，陈赓却认为出其不意也是军事上的险招：在“独木桥上打架”，谁先下手谁就能占据主动。
陈赓的部署是：七七一团在左，七七二团在右，两个团都埋伏在公路北面，补充团在对面。由七七二团的一个营担任断敌退路的任务，再派小部队把浊漳河上的桥炸断，切断河两岸敌人的联系。 凌晨，万籁寂静 。在把日军先头部队放过去后，第三八六旅的官兵突然跃出开始了袭击，成百上千的手榴弹大雨一般落下 。在主力部队与日军激战的时候，被放过去的日军先头部队被七六九团特务连截住。混战时，日军从潞城来的增援部队抵达，可第三八六旅两个连的增援部队也赶到了，增援日军的十辆汽车被击毁一半，剩下的仓皇逃回潞城。