毫无疑问，蒋介石基于“积小胜为大胜”的原则，确实对在鲁西南再打一个如同台儿庄的胜仗抱有期望。从四月二十五日他给李宗仁的电报上看，他依旧舍不得放弃已控制的任何要点，要求一线部队作出固守防御的部署 。于是，汉口军令部制订的《徐州会战作战指导方案》，体现出蒋介石的这种繁杂心绪：攻击方向仍旧是鲁西南，作战原则还是攻势歼敌，只是加了“不得巳时”机动防御的内容。当第五战区遵循这份《指导方案》，将拟定的作战计划上报后，蒋介石对第五战区提出的要求是：“须着眼求敌主力包围于战场而歼灭之。”
徐州会战，就这样开始了。为协调华北方面军与华中派遣军的关系，日军东京大本营派人到达山东济南，于四月十七日召开关于徐州作战的碰头会。面对即将开始的大规模作战，在这个特别召开的参谋会上，除了最终对徐州形成南北包围外，其他问题均未达成一致。会后，华北方面军和华中派遣军各自制订了作战计划。从作战计划上看，日军两路部队虽是各管各的，但已经呈现出对中国军队的南北合围趋势。
在徐州战场的北线，位于鲁南的日军第五师团急不可耐，师团长板垣征四郎把他的指挥部前推到临沂西北面的义堂集附近。日军华北方面军又从独立混成第五旅团以及第一一四师团抽出部队，归板垣征四郎指挥，以厚第五师团兵力。板垣征四郎随即派出了他最强悍的国崎支队，于四月十六日向鲁南重地临沂发动了攻击。十九日中午，日军突入临沂，负责守城的庞炳勋部激战后“官兵伤亡甚重”，残部于二十日凌晨突围而出。
原定负责增援临沂的还是张自忠部。之前，张自忠部两次奉命增援临沂，部队“伤亡奇重，兵员锐减”，“尤其是第三十八师，作战前约有一万五千人，临沂战役后仅剩不足三千人”，部队因此南撤卞庄（苍山）一带补充休整。@自中国军队津浦路作战开始以来，张自忠部于南北战场不断奔波，哪里危急就赶赴哪里苦战。这一次，他又奉命从卞庄北进增援临沂，但因沿途受到日军猛烈阻击而未能及时赶到。及至临沂失守的消息传来，张自忠自责内疚得几近绝望。临沂失守，中国军队失去了鲁南的战略支撑点。
日军国崎支队占领临沂后，沿沂郯（临沂至郯城）公路迅速南下，目的是调动中国军队主力东援，以掩护日军第十四、第十六以及第一一四师团在鲁西南展开，切断运河以北所有中国军队的后路，进而实现围歼汤恩伯和孙连仲两军的目的。为避免被围在日军的包围圈里，李宗仁命令汤恩伯的军团放弃对濑谷、坂本两支队的围攻，将关麟征的第五十二军、王仲廉的第八十五军以及周?的第七十五军等部，后撤至兰陵镇、洪山镇东南地区占领阵地。
四月十日，在临沂战场的西面，与第五师团并驾齐驱的日军第十师团主力由兖州向南推进到枣庄。枣庄位于兰陵镇的西北方向，距兰陵镇仅六十多公里，这意味着第十师团将向汤恩伯部发起攻击。按照日军徐州会战的计划，第十师团的任务是将中国军队滞留在台儿庄附近。十八日，日军的攻击开始，其部署是：濑谷支队在左，沿枣台铁路线向台儿庄进攻，负责牵制滞留孙连仲部；长濑支队在中，先向兰陵镇，再向禹王山发起进攻；坂本支队在右，先向向城、再向四户镇发起进攻。长濑、坂本两支队的作战目标只有一个，牵制中国军队的主力汤恩伯部。
十九日，坂本支队突入向城，长濑支队推进到兰陵镇，只有濑谷支队在攻击台儿庄时受到周?的第七十五军的顽强阻击。汤恩伯部逐次放弃阵地向南后退，坂本和长濑两支队紧迫不舍，两军激战于兰陵镇、洪山镇以南的四户镇一线，日军决绝强悍的攻击令汤恩伯部死伤严重：郑洞国的第二师剩下不足两千人，而新组建的梁恺的第一九五师只剩下不足千人。一蒋介石要求中国军队固守的大运河北岸阵地已经变得支离破碎。这时，滇军第六十军增援而至。
卢沟桥事变爆发后，在蒋介石的请求下，云南省府主席龙云将直属的步兵、炮兵、工兵、交通兵、护卫骑兵等部队含编为中国陆军第六十军。任命卢汉为军长，下辖第一八二师，师长安恩溥；第一八三师，师长高荫槐；第一八四师，师长张冲。一九三七年十月，第六十军出云南经贵州，徒步行军四十多天，抵达湖南常德待命。一九三八年初，又转至武昌整训，四月奉命开赴鲁南战场。
按照命令，第六十军需集结在台儿庄的东南面，作为于学忠的第五十一军的二线部队。可是，当第六十军向集结地运动时，汤恩伯的第二十军团已经南撤，于学忠的第五十一军获悉汤恩伯部撤走后，赶紧向西收缩了自己的右翼，以至于在台儿庄战场的东南面，中国军队的防线上出现了一个巨大的缺口。 日军以两个联队的兵力，在三十多门火炮和二十多辆坦克的支援下大举南下，与向北开来的第六十军第一八三师先头部队尹国华营迎头相撞。尹营长的先头部队消灭了日军的尖兵，占领了台儿庄以东的陈瓦房，但随即便陷入日军主力的包围。为给后续部队赢得时间，被包围的中国官兵顽强抵抗。危急时刻，一o八一团团长潘朔端率部增援，在小庄附近遭遇日军的猛烈阻击，团附黄云龙阵亡，团长潘朔端身负重伤。日军从四面冲进陈瓦房，被包围的中国官兵开始了白刃战。最终，除一名叫陈明亮的士兵冲出包围圈生还外，尹国华营的其余五百余名官兵全部殉国。
先头营的拼死作战，为第六十军赢得了展开布防的时间。二十三日，日军向蒲汪、辛庄、戴庄一线发起猛攻。防御蒲汪的第一八二师一o七九团，在团长杨炳麟的指挥下与日军反复冲杀，当重机枪阵地上只剩下机枪手杨正发一人时，身负重伤的杨正发依旧在猛烈射击，竟然使得日军“不能靠近”。为增援蒲汪阵地，迫击炮排排长靳家祥和步兵排排长吕建国率队向日军发起突然反击，两个排的中国官兵冲人日军的坦克群，用集束手榴弹炸毁了数辆坦克，毙敌十余名，但随后身陷重围，两名排长和二十余名士兵无一生还。二十四日，蒲汪阵地上的中国守军已伤亡三百余人。日军增援部队抵达后，二十多辆坦克冲进蒲汪横冲直撞，滇军官兵与村庄里的断墙一起被碾为平地，双方惨烈的肉搏战一直持续到深夜，日军不支退却。而这时候的一O七九团，连同负伤的代理团长钟光汉在内，全团仅剩下不足五百人。