就在张自忠率部来回奔波的时候，津浦路北段一个叫滕县的要点出现了重大危机。 津浦路上的滕县，北面是界河和邹县，西面是独山湖，东面是凯龙山，南面直通徐州。邹县失陷后，滕县成为拱卫徐州的前沿。三月八日，驻济南的日军第二军司令官西尾寿造向第十团下达了占领滕县的命令。第十师团当即组成了一支以第三十三旅团旅团长濑谷启为首的濑谷支队。滕县方向的中国守军是孙震的第二十二集团军，其防御部署是：第四十一军王铭章的第一二二师和所辖王志远的第三六四旅进驻滕县；第四十一军税梯青的第一二四师同时开往滕县；第四十五军陈离的第一二七师师部进驻滕县县城内。孙震任命陈离为滕县外围部队的指挥官，负责指挥防守滕县北面界河至香城一线的第四十五军部队；任命王铭章为防御滕县县城指挥官以及第四十一军前方总指挥，统一指挥第一二二师和第一二四师作战。
中国陆军第二十二集团军是川军。 川军官兵没人预料到，他们迎来的是一场残酷的血战。三月十四日，日军出动步兵和骑兵万人，在二十多门火炮、二十多辆坦克以及三十余架战机的配合下，向第一二五师和第一二七师防御阵地展开了全线攻击。中国守军凭借既设阵地顽强抵抗，孙震亲临前线命令部队以“有敌无我，有我无敌”的决心死战到底。他同时宣布了李宗仁转达的蒋介石的命令：第四十一军必须在滕县死守三天，给后方加强徐州防御调动争取时间。
十五日，日军除加强正面攻击之外，还加强了两翼攻击。中国守军右翼第一二七师阻击顽强，加上阵地地形有利，战局暂时稳定；但左翼因为只有第三七旅防守，部队在日军的猛烈攻击下伤亡很大，形势危急。在滕县县城内的王铭章为了保住正面阵地，防止日军腾出兵力向滕县侧后迂回，急调在滕县内防守的第三七二旅奔赴左翼阵地支援，开设了左翼防御的第二道防线。 下午，日军对左右两翼的攻击更加猛烈。尽管位于界河的正面阵地未被日军突破，但在两翼阵地上日军已经逐渐深入，其先头部队抵近了滕县东北向的冯河、龙阳店，切断了滕县外围阵地与滕县县城之间的联系。日军的作战企图非常明确：对正面阵地实施牵制作战，向滕县中国守军的两翼形成大纵深包围，然后攻击滕县县城，迫使正面阵地上的中国守军不战而退。
黄昏时分，正面界河阵地被日军突破，侧翼的龙山阵地也被日军包围。滕县外围阵地已失去屏障县城的作用，滕县直接处在了日军的火力之下。此时，从东面迂回滕县的濑谷支队已经接近城垣。 十六日凌晨，日军的炮火准备开始，天上十多架飞机投下暴雨般的炸弹，地面火炮发射的炮弹密集地落入城内，滕县居民在横飞的弹片中疯狂地自西门汹涌而出。很快，除了王铭章的守军之外，滕县成为一座空城。
日军集中了所有火炮向滕县城东的城墙猛烈轰击，城墙顷刻间被炸开了一道缺口。接着，日军集中轻重机枪数十挺，掩护步兵开始向缺口冲击。守卫城东城墙的七三一团一连官兵在日军冲到城墙下的壕沟时，一声令下，数百枚手榴弹同时投向日军，日军于血肉横飞中丢下数十具尸体仓皇退却。然后，日军再次开始炮击，炮击之后又一次冲击，如此反复，城墙下遗尸累累 。下午，日军在飞机的助攻下，采取一次三个小队，每小队相距百米，前后重叠的梯形冲击战术，第一梯队伤亡殆尽，第二梯队接着冲上来。城东正面前沿的中国守军全部伤亡，尽管两翼部队紧急封堵，日军还是冲进城内数十人。天黑了，双方相距几十米对峙。七二七团三营十一连在连长张进如的率领下，趁着夜色向日军发动了反击，以阵亡两位排长和伤亡七十名士兵的代价，将突进来的日军全部歼灭，收复城东关。
日军第十师团师团长矶谷廉介并没有在滕县止步不前的准备，他认为伤亡数百人竟拿不下一个小县城不符合第十师团的声誉。这个晚上，他紧急调集了三万兵力将滕县县城三面包围。十七日黎明来临，日军二十多架飞机的轰炸和五十多门山炮的轰击持续了整整两个小时，滕县县城内所有的房舍皆成灰烬。在城东关，中国守军七四团官兵拼死抵抗，一直到中午依旧保持着阵地。在城的东南角，日军的炮火将城墙轰开后，坦克冲入了滕县县城。中国守军无力阻挡坦克，而坦克后面就是洪水般冲锋的步兵。眼看着日军深入进来，七二七团的一个连奉命反击。一阵手榴弹后，中国守军迎头而上，双方在城墙上下展开了白刃战。当日军被堵回去的时候，一百五十人的连队只剩下十四人。
下午，日军把攻击重点放在了南门，十二门榴弹重炮集中轰击南城墙的正面，飞机也向南关投弹扫射。在这里防守的第三七二旅七四三团的两个连，昨天深夜才换防至此，没有时间修筑工事，官兵在日军重炮的轰击中死伤半数，日军随即占领了南关。而在城东方向，当中国守军弹药告罄时被迫后撤，东关也被日军突破。南关和东关丢失后，王铭章把他的指挥部搬到了滕县正中央的十字路口上，目的是让各个方向的官兵都看见他们的师长还在！十七日傍晚，滕县西门也落入日军之手。日军的子弹已从四面向县城中央打来。王铭章师长在枪声中仔细辨听，希望听到城外增援部队的枪声。奉命增援滕县的是中央军汤恩伯部。
十四日，李宗仁致电汤恩伯， 要求调派他的第四师火速赶往滕县附近，以助第二十二集团军“拒敌”。 当天，汤恩伯给蒋介石打电报，说“恳以本军团全部调津浦路北段出击”，这样可以“避免分割零碎使用以益战局”，杜绝“分散或作无代价之消耗”。实际上，汤恩伯是不愿意把他的部队交给杂牌军指挥。直到蒋介石明确表示，汤恩伯部不归孙震指挥，但“务于十七日拂晓前达到临城”后，第四师才由河南商丘出动。
坐在滕县十字路口中央的王铭章发现，在汤恩伯可能增援的方向枪炮声渐渐地远去了。王铭章知道最后的时刻来临了。冒着日军密集的枪弹，王铭章师长走上了滕县城墙残破的西北角，命令身边仅有的一个排官兵向西门猛扑，但此时的西门已完全处在日军的火力封锁下。王铭章转身，准备到火车站附近的第一二四师第三七二旅去，日军的机枪手发现了他。 “王铭章将军一弹中腰扑地……” 滕县保卫战，与王铭章师长一起阵亡的，还有第一二二师参谋长赵渭滨、师部副官长罗甲辛，第一二四师参谋长邹慕陶、师部副官长傅泽民、七四团团长王麟。第三六四旅旅长王志远，第三七旅旅长吕康，第三六四旅七二七团团长张宣武均负重伤。未能突围的滕县守军，没有一人放下武器，也没有一人投降，全部战死。因为官兵全部战死，没有人运送伤员，城内的三百余名伤员用手榴弹自杀殉城。十八日中午，城内枪声停止，日军占领滕县。滕县一役，中国守军第四十一军伤亡五千余人，外围作战部队伤亡四千余人，毙敌两千余人。滕县作战，为中国军队于徐州战场的布防赢得一百多小时。一群川人以牺牲生命报效了国家，他们用精神和血肉赢得了一个“像样的结局”。
攻陷滕县后，日军第十师团师团长矾谷廉介研究继续南下的路线，他在地图上看见自滕县向南有个运河边上的小镇，卡在通往徐州的必经之路上。这个小镇名叫台儿庄。