无论如何，汤恩伯部已开始向台儿庄靠近了。但是，也就仅仅是“开始”而已。台儿庄内，日军据东，我军据西，交战双方近距离的对峙频繁引发残酷的巷战；而在台儿庄外，除了南面的徐州方向，剩下的三面都已处于日军的合围中。二十八日午夜，趁庄外日军暂时停止攻击的间隙，庄内的中国守军向日军盘踞的城隍庙和碉楼实施反击，一次又一次，官兵们试图把闯进庄内的这股日军消灭。日军盘踞在房顶上，机枪火力十分猛烈，导致反击部队付出巨大伤亡。二十九日凌晨，第三十一师投入两个团的兵力，对城隍庙和西北角同时发起反击。三十日凌晨，第三十一师收集了所有的迫击炮弹，为驱赶西北角的日军开始了猛烈炮击，致使曰军“纷纷窜据城角掩蔽部内及民房”内。炮击停止后，日军又纷纷窜出来，激烈的巷战开始了，一直到天再次黑下来，台儿庄内的肉搏“未尝稍停”。
无论中国军队于台儿庄内外发动的反击作战是否结束，只要天一亮，日军便再次集合起主力开始向台儿庄发动进攻。疲惫不堪的中国守军已经习惯了这一规律：大约六至七时之间，先是微明的天色中传来飞机的引擎轰鸣声，然后便是对庄里庄外的猛烈轰炸和低空扫射。同时，日军炮兵从东、西、北三个方向，集中火力轰击台儿庄内的中国守军阵地。烟火弥漫，砖石横飞，中国守军只能躲在临时挖掘的防空洞里，但寨墙上的守军不能躲藏，因为日军步兵随着炮火班来了。寨墙已不知被炸塌过多少次，又修复过多少次，那些没有在轰炸和轰击中伤亡的守军官兵从瓦砾中爬出来，透过弥漫的烟尘，便能看见由日军士兵组成的土黄色波浪汹涌而来。
二十八日早上，台儿庄中国守军发现进攻的日军多了。日军增援部队到达后，参加攻击台儿庄的部队是：步兵第六十三联队（约两个大队）、独立机枪第十大队、轻装甲车第十中队、中国驻屯军临时战车中队、野炮兵第十连队第一大队（缺第一中队）、野战重炮兵第二联队（缺第二大队）、中国驻屯军炮兵联队一小队、工兵第十联队第一中队一小队。
台儿庄寨墙的西北角再次坍塌，数百日军从缺口涌入逼近北站。中国守军编织起密集的火网，令日军步兵的冲锋受阻。九时，日军加强兵力强行冲锋，双方陷入白刃战。十一时，大股日军从西北角爬到寨墙上高高的文昌阁内。这座阁楼早已在炮火下坍塌，只剩下半截，日军士兵往上爬的时候，遭到中国守军的猛烈射击，阁下布满了日军的尸体，而冲上去的日军士兵发现他们下不来了，因为中国守军已旬文昌阁发起了反击。防守西门的一八一团，把被击毁的日军装甲车作为机枪掩体，最终封堵上了西北角缺口，但寨墙上依旧有百余名日军在坚持，双方都已筋疲力尽，不得不形成对峙。
晚上，庄里的日军突然发起反击，庄外的日军也同时发动攻击。台儿庄里外火焰冲天，中国守军的电话联络都被切断，只能在各个方向上各自为战。 日军再次突入四百多人，举着火把到处放火，但火光也让中国守军寻找到攻击目标。黑夜里的混战一直持续到午夜，台儿庄内的战斗逐渐停歇。
蒋介石发来电报说，如果台儿庄失守，不但第二集团军全体官兵是死罪，连第五战区司令长官李宗仁、副参谋总长白崇禧和军令部次长林蔚都将严惩不贷：台儿庄屏障徐海，关系第二期作战至巨，故以第二集团军全力保守，即有一兵一卒，亦须本牺牲之精神，努力死拼，如果失守，不特该军官兵死罪，即李长官白总参长林次长亦当严办。获悉电文的孙连仲派出了两名执法官：第四十二军军长冯安邦赴台儿庄右翼，负责督战第二十七师；第三十军军长田镇南赴台儿庄左翼，负责督战第三十师和第四十四旅，同时督战坚守台儿庄的第三十一师。二十九日晨，孙连仲召集军长和师长们开会，其间他特别嘱咐第三十一师：不要指望增援，必须坚持下去。第三十一师师长池峰城的表态是：“台儿庄是吾人光荣所在，亦为吾人之坟墓。”
台儿庄外的日军开始攻击了，隐藏在城里的日军也冲出来企图扩大占领，中国守军与日军的混战一直持续到黄昏。 日军再次发动了新一轮的全面攻击，危机于此时出现了：一股日军冲入西北角，中国守军伤亡殆尽后，日军蜂拥登城夺取了西门。孙连仲急调一个团增援，增援队几次反击均未奏效，日军切断了台儿庄内外中国守军的联系。第三十一师副师长王冠五，再次向池峰城师长请求率残部撤退。池师长给孙连仲打电话请示，孙连仲在电话里只说了—句：“台儿庄失守，军法论处。”电话那端传来的最后一句话是：“请师长放心。”王冠五，一条硬汉。
王冠五组织起一支由特务连七十二名官兵组成的敢死队。敢死队员短枪大刀，在迫击炮的掩护下，向台儿庄西北角摸过去，他们要爬上寨墙上文昌阁，消灭那个居高临下威胁整个西城的日军火力支撑点。 冒着日军密集的机枪封锁，敢死队员叠起土囊，不顾生死地向上攀登，震天动地的呐喊声令文昌阁上的日军魂飞胆破。午夜时分，文昌阁上的日军，除了被活捉的四人外，其余全部死于敢死队员的大刀下。
台儿庄派遣队久攻不下，第六十三联队严重受阻，情报显示汤恩伯的第二十军团正向台儿庄靠近，那么，进攻台儿庄的部队很可能面临被全歼的危险。日军第二军司令官西尾寿造，急令第五师团坂本支队火速增援台儿庄，同时严令濑谷支队尽快攻克台儿庄。三十一日清晨，日军的炮击前所未有地猛烈，二十多门大口径野炮集中轰击，犹如要“令台儿庄化为灰烬”。上午九时，大批日军涌入庄内，中国守军一八六团损失殆尽，一八五团奉命上前接替。在台儿庄外围，第二十七师在刘家湖附近反复与日军厮杀，那些配属给他们的战车防御炮也全都投入了战斗。
这天傍晚，台儿庄北门寨墙已坍塌成一片平地，无法封堵的巨大缺口使城外的日军蜂拥而入。进入台儿庄的日军沿着每一条街道与中国守军肉搏。待天色完全黑下来时，一条条火舌向中国守军席卷而来，日军使用了火焰喷射器以扫清中国守军的阻击。台儿庄满街都是中国守军设置的障碍物，一处障碍物燃起大火，守军官兵就退至另一处，他们投出的手榴弹下雨一般从日军的头顶上落下。至午夜时分，台儿庄全城都在燃烧，冲天的火光照亮了整个鲁南天空。
第二天，四月一日，台儿庄内无大战。交战双方都已精疲力竭。短暂的寂静中，台儿庄战局开始显现出对中国军队有利的态势：包括汤恩伯的第二十军团在内，中国军队的大批部队正向台儿庄靠拢，包围着台儿庄的日军第十师团濑谷支队和第五师团坂本支队，实际上在更大的范围内已经处于中国军队的包围中。四月二日凌晨，台儿庄内外万籁寂静，在城外围的东北角和西北角同时出现了中国官兵的身影。孙连仲命令第二十七师挑选敢死队员二百五十人为前锋，一个营在后面跟进，从台儿庄的东北角向庄内实施偷袭。 没有准备的日军猝不及防，反应过来时中国守军的敢死队员已经冲到跟前。战至凌晨四时，占据着台儿庄东北角寨墙的日军被全部歼灭。
一个晚上的反击成效明显。天亮后，台儿庄的东门被中国军队打开，随即南门也被收复，第三十一师和第二十七师取得了联络。——这是数天来，这两支分别防御庄内外的部队第一次取得有效联络。但是，中国守军尚未巩固阵地，南下增援的日军第十联队到达战场，向庄外的第二十七师发起攻击，企图突破中国守军防线向台儿庄靠拢。