坚持要南北夹击打通津浦路的侵华日军，尽管路南段和北段因受到中国军队的不断阻击而推进缓慢，但并没有因此改变其既定的作战决心。在攻占临城、滕县之后，南下占领峄县，就已超越了东京大本营设置的限制线。此时，攻击临沂的第五师团坂本支队，因受到中国军队张自忠部和庞炳勋部的阻击无法脱身，第二军参谋冈本清福大佐来到兖州，向矾谷廉介转述了坂本支队的困境，希望得到第十师团的支援。矶谷廉介立即命令濑谷支队：在“确保韩庄、台儿庄运河一线，并警备临城、峄县”的同时，“应以尽可能多的兵力向沂州（临沂）方面突进，协助第五师团战斗”。
濑谷支队由步兵第三十三旅团司令部，步兵第十、第六十三联队，独立机枪第十大队，独立轻装甲车第十、第十二中队，野炮兵第十联队（缺一个大队两个中队），工兵第十联队第一中队等部队组成。三月二十二日，支队长濑谷启下达了作战命令：一、右追击队作为韩庄守备队，负责守备韩庄附近；二、台儿庄派遣队（步兵第六十三联队第二大队，配属野炮一个大队）明二十三日从峄县出发，确保台儿庄附近运河一线地区；三、沂州支队（步兵第十联队）明二十三日从临城出发，向沂州方面前进，策应坂本支队作战；四、支队主力集结于峄县附近。
濑谷启知道，中国军队的第二师、第四师、第二十五师、第八十九师都已进入台儿庄地区。但是，他依旧不顾中国大军云集，目中无人地决定孤军深入，其投入攻台儿庄地区的部队竟然只有一个大队——按照日本陆军的编成标准，一个大队的规模大于中国军队的一个营但小于中国军队的一个团，兵力约在一千至一千五百人之间——足见对中国军队的极度蔑视。
台儿庄位于山东峄县东南，北接津浦路的台枣支线（台儿庄至枣庄），南临陇海铁路，西南距徐州十多里。大运河从庄南流过，水深两米多，自古便是鲁南的水陆码头。台儿庄名为“庄”，实际上是一座有环绕寨墙并有六个寨门的市镇，寨墙虽两丈余高却由砖土砌成，六个寨门分别是：西门、西北门、北门、东门、东南门、南门。城北是一片开阔地，矗立着大小碉楼数十座；西面是铁路；东面散布着村庄。李宗仁拟定的作战计划的要义是：汤恩伯部提前集结于峄县以北，台儿庄防御仅仅是正面阻击和牵制，待沿台枣支线南下的日军被阻挡在台儿庄时，汤恩伯部将从日军的侧背突然发起攻击，压缩并歼灭日军于微山湖畔。
之所以选择汤恩伯的第二十军团担任侧击主力，根本原因还在于汤恩伯部属于精锐的中央军部队。军团下辖第十三、第五十二、第八十五军。第十三军军长由汤恩伯兼任，下辖第一一0师，师长张轸。第五十二军军长关麟征，下辖第二师，师长郑洞国；第二十五师，师长张耀明。第八十五军，军长王仲廉，下辖第四师，师长陈大庆；第八十九师，师长张雪中。——“该军团装备齐全”，是当时中国陆军中的“精华。”负责台儿庄正面防御的，是从第一战区调来的孙连仲的第二集团军。该集团军名义上下辖两个军，即田镇南的第三十军和冯安邦的第四十二军，但在之前的平汉路和娘子关作战中，冯安邦的第四十二军损失惨重，仅仅剩下一个空架子 。所以，此时的第二集团军，实际上只有三个师可以参加作战，即黄樵松的第二十七师、张金照的第三十师和池峰城的第三十一师。
第二集团军属西北军旧部，来徐州战场前被调来调去：从山西调到豫鄂交界处的武胜关一带修筑国防工事；后又奉命把修了一半的国防工事交给滇军第六十军，北调至郑州附近去守黄河；刚走到黄河边上，听闻滕县失守，于是奉命东进徐州，归第五战司令长官李宗仁指挥；走到半路，又接到命令，要求赶赴台儿庄地区归汤恩伯指挥。此时，孙连仲的任务仅仅是牵制住日军，以便汤恩伯部主力从侧背出击。因部队过郑州时师长池峰城因事停留，李宗仁将师参谋主任屈伸叫到了徐州，当面交代给第三十一师的任是：背靠台儿庄，向北面的峄县出击诱敌；在日军受到引诱发起进攻时，坚决守住台儿庄阵地。
师长池峰城赶到台儿庄后，正在北上的第二十军团路过台儿庄南车站，池峰城在车站里会晤了军团长汤恩伯和第五十二军军长关麟征。 池峰城立刻向关麟征询问了他最关切的一个问题，即一旦第三十一师与日军打起来，第五十二军何时才能发起侧击？换句话说，第三十一师在台儿庄到底坚守几天才算完成任务？关军长的回答毫不含糊：“贵师与敌接触，枪声一响，我们便能马上回援，按距离算，最多不出一日定可回援。贵师守台儿庄，能坚持三天即算完成任务。”
池峰城师长无论如何也想不到，后来战局的演变与关军长的承诺毫不沾边，他的部队不但变成了日军的主攻对象，他负责防守的台儿庄也变成了战区的主战场；而且，围绕着台儿庄的惨烈战斗，竟然持续了半个月之久。其间每一天的每一分每一秒，他都在苦盼着李宗仁的那个“轴回旋”立即实施，苦盼着汤恩伯部能“不顾一切”“马上回援”。他不得不“孤军苦战”，在那些血肉横飞的日子里承受利刀剜骨般的煎熬。
二十二日，上午十一时，第五十二军军长关麟征发布作战命令，其中涉及第三十一师的部署是：第三十一师应于本晚，由台儿庄渡河，主力控制于南洛、北洛一带，以得力之一部，在獐山附近占领阵地，向峄县方向警戒，掩护本军由台儿庄渡河。本月二十三日拂晓前，应推进至獐山、天桂山一一五高地、白西山之线占领高地，并以一部时时向峄县之敌袭击，以一部向韩庄方面游击。
天黑了，关麟征的第五十二军将运河南岸防务移交给军团直属的第一一0师，然后经台儿庄、兰陵镇移至枣庄以东的向城一带；王仲廉的第八十五军则在峄县与韩庄一线与日军脱离接触，然后转移集结在枣庄以北的抱犊崮山区里——这是在执行李宗仁的“让开津浦路正面”的设想。二十三日拂晓，按照李宗仁诱敌深入的计划，第三十一师开始向台儿庄以北的峄县方向主动出击，实施佯攻诱敌。
濑谷启从战场上的中国战俘那里得知：峄县以北是汤恩伯部的四个师，拟于二十四日发起攻击。濑谷启当即决定：支队主力集结在临城、峄县一带，准备与汤恩伯部展开决战，以确保徐州北面的门户韩庄以及台儿庄附近大运河一线。只是，他并没有改变台儿庄派遣队的任务。此时，中国第五战区的将领们尚未摸清日军的真正意图，认为日军向台儿庄方向的攻击是试探性的，日军的主要作战目标是在峄县附近与汤恩伯部决战。那么，只要明天日军不继续向台儿庄靠近，以台儿庄为靠背的诱敌深入计划就仍需维持。依据这一判断，二十三日晚，池峰城师长下达的作战命令依旧是：与当面之敌保持接触，吸引敌军南进，以协力汤恩伯军团之攻势，歼敌于台儿庄以北地区。