日军南北夹击受挫后，改变战略为“南守北攻”，以图沿津浦路北段快速向南推进，津浦路北段局势因此严峻起来。危机是从大半个山东失守开始的。津浦路北段的防守，由山东省府主席韩复榘负责。基于保存实力的原则，当停留在河北沧州的日军开始南下，并于山东淄博以西的周村渡过黄河后，韩复榘意识到日军沿胶济铁路即刻便进济南，于是下令从黄河南岸撤退军队并向河南转移财产。 蒋介石严令韩复榘不得放弃济南， 岂知韩复榘此时已经逃到了泰安。李宗仁只好要求韩复榘死守泰安，韩复榘的回复说，蒋介石连南京都不守，有什么理由让我守泰安？韩复榘认为，只要有枪有钱，“到哪里都可自立”，因此撤离济南前下令把民生银行和金库里的一万五千两黄金、三万两白银以及公私辎重全部装车运走。
韩复榘的四个军不战而退，致使千余日军未费一枪一弹进占济南。退至泰安后，韩复榘认为自己仍处在沿津浦路南下的日军攻击线上，遂又命令部队放弃泰安退至济宁。 韩复榘的主力部队以及所有辎重，一直退到了鲁豫交界处的巨野和曹县。 一九三八年一月十一日，日军占领济宁城，逼近徐州。在短短的二十多天内，韩复榘连退数百里，轻易丢掉了黄河、济南、泰安、曲阜、兖州、济宁乃至徐州以北的运河防线，致使日军仅用一个半师团的兵力便占领了大半个山东，导致津浦路北段门户大开，徐州以及陇海铁路暴露在日军的直接威胁下，中国第五战区的作战部署完全被打乱。
蒋介石抵达开封召集高级将领会议时，韩复榘虽心有不安，但犹豫再三后还是前去参加了。蒋介石在讲话中把愤怒一股脑地倾泄到韩复榘身上 。”韩复榘当面顶撞：“山东丢失是我的责任，南京丢失该谁负责任？”蒋介石依旧正颜厉色道：“我问的是山东，不是问的南京！”韩复榘被坐在旁边的第一战区副司令长官刘峙劝出会场，谁知出了会场即被逮捕，之后被押解到武昌。韩复榘在高级军事法庭上申辩，他的部队没有任何重武器，一个师也顶不住日军一个团的火力；他若固守济南，将受到南北日军的两面夹击；他不带走资产钱物，留下也是要被日本人所用。但是，面对国土未战而失的事实，任何狡辩都已无济于事。一月二。十四日晚上七时，韩复榘被枪毙。
津浦路北段的危机因山东失守而更加严重。二月上旬，津浦路南段正在激战之时，为扭转因韩复榘避战而造成的日军大举南下的态势。第五战区决定采取主动进攻的策略，命令第三集团军向济宁和汶上、第二十二集团军向邹县、第三军团向蒙阴发动攻势作战。韩复榘被处决后，第三集团军总司令由孙桐萱代理。二月十日，孙桐萱下令：曹福林的第五十五军由金乡向北面的济宁南关发起进攻，谷良民的第二十二师由定陶经巨野、嘉祥迂回济宁以北，攻击济宁北门，协同第五十五军收复济宁。同时命令第八十一师对汶上的日军进行袭击，防止其南下增援济宁。
十二日，攻势作战开始。担负主攻任务的第五十五军，仅以两个团各一部的兵力，对济宁火车站等地进行了骚扰式袭击，被日军打回来后，主力部队再也没有任何行动。而担负助攻任务的第二十二师却仍在执行命令。部队抵达运河西岸后，以第六十四旅为主攻，第六十六旅为预备队 。 第六十四旅旅长 命令位于北关的两个团攀城强攻。两个团的官兵扛着长梯分路攀城，尽管伤亡甚重，但一波接一波地往上爬，终于突进去九个连。防守济宁的日军约有三千人，中国官兵突进来后他们紧急求援。济宁城内的激烈巷战持续了一天一夜，日军一千五百人的增援部队到达。城里城外的日军联合攻击，突入济宁的中国官兵孤军奋战，至十四日拂晓，九个连的官兵全部战死。在济宁的北面，攻击汶上的第八十一师遭遇守城日军与从东、南两面增援而来的日军的围攻，部队因伤亡巨大仅在战场上坚持了一天便撤退下来。
在济宁东面的邹县，孙震的第二十二集团军同时向日军发起了攻击。第二十二集团军是川军，韩复榘擅自撤退时，该部被从河南商丘调来牵制日军南下，其主力集结在邹县附近。川军官兵刚从山西前线下来，部队大量减员且武器简陋，均未来得及补充，所以无力支撑大规模的反击作战。集团军只好命令第三七三旅在邹县以南攻击位于两下店的日军。第三七三旅以七四六团并配属地方抗日红枪会的数百人担任主攻，以七四五团为掩护。七四六团三营接连发起两次攻击，都被日军击退。晚上，一营加强二营发起强攻，一度冲进了两下店，但很快就遭遇日军猛烈火力的反击，天亮时部队又退了出来。日军出城追击，第三七三旅向东一直退到了香城。
十七日，攻击济宁未果的第三集团军受到日军第十师团第八旅团的猛烈反攻。日军第八旅团的四个步兵大队、两个野炮兵大队在二十辆坦克的掩护下，于二十五日突破了中国守军的运河防线，攻占运河南岸要地嘉祥。在日军的反击中，第三集团军部队再次后撤至鲁豫交界处到巨野、独山、大义、孟家屯一线。此时，另一路日军，板垣征四郎的第五师团，在津浦路以东开始沿着潍台公路南下，企图于津浦路北段的侧面直接攻占鲁南要地临沂，然后直下徐州。日军第五师团原在山西战场，忻口会战前被调往华北地区。日军华北方面军给第五师团的命令是：沿胶济铁路迅速占领青岛。第五师团主力刚到青岛，立即接到了由青岛、潍县一线南下的命令，具体任务是：向诸城、沂水、莒县方向攻击前进，迅速占领临沂，配合津浦路上的第十师团南下。
临沂，鲁南军事重镇，位于徐州东北方向，是陇海、津浦两条铁路的安危所系。如果日军第五师团向西顺利推进，与津浦路上南下的第十师团会合，将于北面大大加强威胁徐州的力量，中国方面的战势很可能变得不可收拾。可令人无法理解的是，在如此重要的方向上，中国方面竟然没有部署守军。从潍县到青岛再向南到临沂，只有从青岛撤出来的中国海军陆战队员约两干人，根本无法形成对日军第五师团的任何威胁，李宗仁只好命令驻防海州的第三军团火速赶赴临沂御敌。
中国陆军第三军团，原属于西北军旧部，是中国军队中典型的杂牌军。，这支部队名义上为“军团”，实际上只有一个军，即军团长庞炳勋兼任军长的第四十军。而第四十军虽名为“军”，实际上只有一个师，即马法五任师长的第三十九师。简单地说，第三军团只是一个加强师而已，全师下辖朱家麟的第一一五旅和李运通的第一一六旅，每个旅两个团，加上一个补充团，炮兵、工兵、辎重兵和通信兵各一个营以及一个骑兵连和一个手枪连，兵力总计约一万三千人。虽然是杂牌军，但第三军团的武器装备算得上精良：步枪八千余支、手枪九百余支、轻重机枪六百六十余挺、轻重迫击炮六十余门、山炮四门、战马三百余匹，还有掷弹筒两百余具。
接到李宗仁防御临沂的命令后，庞炳勋立即率部奔赴战场。到达临沂地区后，他整合中国海军陆战队残部以及当地的民间抗日游击队，制订了周密的作战部署，并向蒋介石作了表态式的汇报。日军第五师团以第二十一联队的一个半步兵大队和一个炮兵中队为先头，于二月二十一日开始南进，中国守军陆战队员和游击队员抵挡不住，日军前锋推进到莒县东北方向的招贤镇。庞炳勋立即命令第一一五旅增援莒县。第一一五旅旅长朱家麟率二三团并配属两门山炮为左翼，副旅长黄书勋率二二九团并配属两门山炮为右翼，于二十一日午夜抵达莒县。部队抵达后才发现情报有误，原以为守城的是伪军刘桂堂部，可县城里面异常寂静，一打听才知伪军早就跑了，而日军在城外的攻击阵地已布设完毕。空城不能不占领，于是二二九团立即进城做固守准备，二三团位于县城的西边准备策应。