二十五日夜，孙连仲转达第五战区命令：二十六日台儿庄全线发动反击，于学忠部向东，汤恩伯部向西，第六十军向北，合力歼灭突入台儿庄东面我军袋形阵地中的日军。二十六日晨，中国军队的反击作战刚一开始，就被日军前所未有的强大火力所阻，无论是汤恩伯部、于学忠部，还是卢汉的第六十军，都不得不退回原阵地。日军在中国军队后撤后，以炮兵、坦克、步兵联合发动了全线攻击。在第六十军正面的东庄阵地，日军，一个小时发射了五千发炮弹，东庄上空烟尘蔽日，整个村庄被夷为平地，那些在炮击中活下来的中国官兵，接着就与冲过来的日军步兵展开了激战。这一天，一o七八团出击部队伤亡官兵达三分之二。入夜，第六十军的胡山、窝山、戴庄等阵地相继弃守。
二十八日，日军越过戴庄，攻击台儿庄北面的禹王山阵地。 自四月三十日起，中国守军在禹王山顶棱线上与日军形成对峙。在台儿庄东南战场的作战中，第六十军表现出惊人的勇敢和顽强，但也为此付出了巨大代价。 鉴于师团长矾谷廉介的“忙碌”，华北方面军第二军派出了以草场辰巳的步兵第十九旅团为基干组成的草场支队，命其配属第十师团增援台儿庄东南战场。但是，草场支队刚进至金陵寺、白山西附近，就遭到中国军队第一一O师和第三十师的顽强阻击，被迫停滞不前。
此时，沿沂郯公路南下的日军国崎支队，二十三日占领郯城，二十四日晚占领码头镇。二十八日，国崎支队从码头镇出发，拟向西北面的北劳沟发起攻击。但是，在北劳沟村的东、北两面，受到关麟征的第五十二军和樊崧甫的第四十六军的猛烈阻击。激战一天一夜后，国崎支队后方联络中断，弹药给养匮乏，官兵伤亡惨重。师团长板垣征四郎追加了千余兵力前往增援，依旧没能使国崎支队摆脱困境。 由于不断伤亡，战斗力急剧下降。国崎支队的步兵第四十一、第四十二联队，自攻击沂州以来，没有补充过兵员，各中队伤亡累计百分之六十至七十，联队实力还达不到一个大队。”
为了抵抗住日军在鲁南发起的攻势，李宗仁将樊崧甫的第四十六军、李延年的第二军、谭道源的第二十二军以及安、恩溥的第一八二师、吴良琛的第十三师，都加强给了汤恩伯的第二十军团。这其中，樊崧甫的第四十六军、李延年的第二军、吴良琛的第十三师，都是当时中国陆军中的主力部队。由此，一九三八年五月初，第五战区内的中国军队，于台儿庄东南方向的邳县附近，北依禹王山、方头山、艾山、南北劳沟，重新建立起一条横向防御线，以期利用有利地形与日军进行顽强的阵地战。日军逐步增援后，始终未能突破中国军队的这条防线，鲁南地区战事由此呈现出胶着状态。
与此同时，在徐州战场的南线，日军华中派遣军的两支先遣队推进顺利：第六师团以坂井德太郎的第十一旅团为基干组成的坂井支队，四月二十三日从安徽芜湖出发，二十四日占领和县，二十六日占领含山，三十日占领巢县，五月十一日占领庐州；第一o一师团以佐藤正三郎的第一o一旅团为基干组成的佐藤支队，四月二十四日从江苏东台出发，二十六日占领盐城，二十八日占领新兴，五月七日占领阜宁。以上两个日军支队向北推进时，没有受到中国军队的有力阻击。由此，在徐州主战场的东南方向，日军已对中国军队的侧背形成了威胁。
中国军队的将领们——包括蒋介石本人——仍旧认为南线的日军华中派遣军仅仅是在策应北线作战，对徐州有所图谋的是日军华北方面军。中国方面尚未弄清楚这样一个现实：尽管日军的徐州会战计划显示，主攻的是北线的华北方面军，南线的华中派遣军为助攻，但是，战争全面爆发已十个月，中国方面应该了解，对于日军陆军来讲作战没有谁主谁次的概念。此刻，在徐州战场上，南北两线的日军都认为自己是在主攻。中国第五战区将要为偏重北线而忽视南线付出巨大代价。五月初，日军终于看到了他们希图出现的战场态势：由于鲁南方向第五、第十师团的牵制滞留作战，中国军队的数十万大军已云集徐州附近。于是，日军从南北两线开始对徐州实施战略合围。
五日，日军突破了涡河两岸中国守军的阵地。第二十一集团军总司令廖磊急令第四十八军，在津浦路西侧以及涡河西岸，向疾速北进的日军发动侧击，以减缓日军强悍的攻击势头。但是，中国军队的瞬间侧击，在日军强大的火力压制下，根本无法收到任何成效。况且，日军也没有与中国军队纠缠作战的意图，日军的目标很明确，即完成对徐州的战略大包围。廖磊又急令刘汝明的第六十八军南下增援。刘汝明部五月三日才集结徐州，刚刚归属第二十一集团军指挥，西北军部队对增援桂军作战并不坚决，部队才走出徐州以南约五十公里，刘汝明见战场态势已不可能令他孤军南下，为避免被日军包围，第六十八军向西面的涡阳地区紧急收缩了。——至此，津浦路南段门户洞开，北进的日军华中派遣军有了直扑徐州的态势。
廖磊不得不下死令，命贺维珍的第一七三师在蒙城构筑起防御线，以迟滞日军北进的速度。蒙城是个小县城，城墙是单薄的土墙，周围开阔的麦田也不利于守城。中国守军五月六日晚赶到，仓促修筑起简易工事后，日军已经迫近。八日，日军骑兵先遣队接近蒙城，遭到一o三三团搜索队的袭击，日军在短暂的混乱后重新冲击而来。搜索队利用麦田作掩护，与日军对峙到黄昏。这时候，日军炮兵的气球升起来了，悬停在蒙城东门的上空，炮兵瞄准方位开始猛烈地炮击，炮击之后是步兵的冲锋。三营守军抵抗顽强，一直打到天黑，令日军毫无进展。天亮了，日军的炮火再次轰击东门，战机也飞临蒙城上空俯冲投弹。这一次向东门发起攻击的日军步兵中夹杂着十辆坦克，死守东门外阵地的中国守军伤亡达二百余人，最后被迫退入城内。
同时，南门外阵地也在苦战后丢失。至此，蒙城城外阵地全部落人日军之手，城内的中国守军陷入重围。晚上，日军一面爬城墙，一面向城门袭击，除了有涡河天然屏障的北门外，蒙城其他三个方向的城门处均彻夜激战。凌晨时分，日军开始总攻，火炮、飞机以及直接抵近城墙的轻重火器组成极其猛烈的火网，蒙城的三面落弹如雨，硝烟弥漫，墙倒屋塌，日军从东面和南面倒塌的城墙缺口冲进来。关键时刻，团长凌云上亲自持重机枪向日军射击，终于把从缺口处涌人的日军堵了回去。日军整顿后再次发动攻势，工兵乘坐坦克冲击中国守军的工事，然后步兵依旧向残破的东门猛冲。中国守军兵力有限，外援无望，眼看着日军冲入城区，坦克沿着大街横冲直撞，守军官兵被分割成碎片。激烈的巷战中，三营营长蓝权阵亡，紧接着副师长周元阵亡。最终，蒙城中国守军一o三三团官兵几乎全部牺牲，只有团长凌云上率十余名官兵冲出了日军的重围。