中原自古便是中国兵家的必争之地。南京陷落后，停留在津浦路北段的日军与停留在沪宁地区的日军，被中原所分隔。于是，日军急欲打通津浦路——华北的日军沿津浦路南下，南京的日军沿津浦路北上一以彻底贯通中原，使日军能够自如地回旋南北、来去东西。津浦路沿线，中原地区的要点是徐州。
徐州位于黄淮之间，为北南向的津浦铁路与东西向的陇海铁路线的枢纽，据守鲁豫皖苏四省之要冲，实为淮北重镇。除东南为山地外，徐州三面均为平原，淮河支流密布其间，大运河纵贯南北。就中国军队而言，于南北走向上，控制徐州可使平津与南京两地的日军隔绝；于东西走向上，可使从东海登陆的日军无法沿陇海路西进而“屏蔽华中”。就日本军队而言，夺取徐州便可将南北战场连成一体，中国的东南部便尽在囊中；同时，沿陇海路可于郑州折南，再循平汉路“进迫武汉”，更可向西“直趋西安”。
就战争本身的进程而言，日本方面最感困难的是兵力不足。至少在一九三八年初，日军大本营与侵华日军将领间的争执。争执的焦点是：在中国战场上是否一鼓作气地打下去？“华北方面军自昭和十二年（一九三七年）底以来，曾多次向中央阐述，为使华北、华中连结起来，进行徐州作战以及对武汉之敌施加威压，从而占领黄河右岸据点（郑州、开封等）的重要性。”而东京大本营则认为：在确保编成六个新的师团前，“绝对不进行新的作战”，只以“增强态势为原则”；待兵力整备完毕后，“进行彻底的积极作战，而求得一举解决事变”。华北方面军司令官寺内寿一对东京的审慎十分不满，指示方面军作战课课长河边正三致电参谋本部作战课课长河边虎四郎据理力争。
但是，中国战场上的日军将领决定不理睬大本营持有何种意见。占领南京的华中方面军认为，他们有能力投入兵力沿津浦路北上，配合华北日军作战；华北方面军更是急切希图南下，与华中方面军在津浦路上会师。一侵华日军将领固执地认为：只要加大打击力度，消灭中国军队的主力，南北日军会师之日便是中国政府屈服之时。继续向南作战的命令不顾一切地下达了。
对于徐州方向的作战，蒋介石是从保卫武汉的角度考虑的。基于此，国民政府军事委员会制订了详尽的作战指导方案，其主旨是：“国军主力控制武汉外围及豫皖边区，积极整补，由华北及江南抽出有力一部，加强鲁中及淮南，积极袭扰，诱敌主力于津浦铁路方面，以迟滞敌人之过江西进；并广泛发动华北游击战，牵制、消耗敌人，妨害其南渡黄河，直冲武汉。”·平汉路方向的第一战区，苏浙方向的第三战区，两个战区内各有部队被抽调至第五战区。
中国第五战区作战序列：司令长官李宗仁，参谋长徐祖贻。第三集团军，总司令孙桐萱。下辖：第十二军，军长孙桐萱（兼）。辖第二十师，师长孙桐萱（兼）；第二十二师，师长谷良民；第八十一师，师长展书堂；第二十八旅（手枪旅），旅长吴化文，第五十五军，军长曹福林。辖第二十九师，师长曹福林（兼）；第七十四师，师长李汉章。第二十四集团军，总司令韩德勤。下辖：第五十七军，军长缪激流。辖第一一一师，师长常恩多；第一一二师，师长霍守义。第八十九军，军长韩德勤（兼）。辖第三十三师，师长韩德勤（兼）；第一一七师，师长李守维。第二十二集团军，总司令邓锡侯，（后为孙震）。下辖：第四十一军，军长孙震。辖第一二二师，师长王铭章；第一二四师，师长税梯青（代）。 ．第四十五军，军长陈鼎勋。辖第一二五师，师长王士俊；第一二七师，师长陈离。
第三军团，军团长庞炳勋。下辖：第四十军，军长庞炳勋（兼）。辖第三十九师，师长马法五。第十一集团军，总司令李品仙。下辖：第三十一军，军长刘士毅。辖第一三一师，师长覃连芳；第一三五师，师长苏祖馨；第一三八师，师长莫德宏。第二十一集团军，总司令廖磊。下辖：第七军，军长周祖晃。辖第一七师，师长徐启明；第一七一师，师长杨俊昌；第一七二师，师长程树分。第四十八军，军长韦云淞。辖第一七三师，师长贺维珍；第一七四师，师长张光玮；第一七六师，师长区寿年。第二十七军团，军团长张自忠。下辖：第五十九军，军长张自忠（兼）。辖第三十八师，师长黄维纲；第一八师，师长刘振三。第五十一军，军长于学忠。辖第一一三师，师长周先烈；第一一四师，师长牟中珩。第二十七集团军，总司令杨森。下辖：第二十军，军长杨森（兼）。辖第一三三师，师长杨汉域；第一三四师，师长杨汉忠，中国军队第五战区共有二十九个师附一个旅，兵力共约二十八万八千人。
日军华北方面军和华中方面军决定以既成事实迫使东京大本营屈从他们的意愿。他们的战略设想是：华北方面军的第十师团和第五师团，分别沿着津浦铁路和潍台公路（潍县至台儿庄）南下，为主攻方向；华中方面军的第九师团沿津浦路，佐藤支队（隶属第一一师团第一一旅团）沿运河北上，为牵制方向。同时，华北方面军第十四师团由濮阳南渡黄河经鲁西南，再向西直趋开封和郑州；华中方面军第十三师团北渡淮河后直趋豫皖交界处的永城和黄口，截断陇海铁路。
第五战区根据军事委员会“对由津浦路南段前进之敌，须固守徐蚌两要地，非有命令不得撤退”的命令，于二月三日下达了作战令：“战区决对津浦南段之敌，拒此于淮河以南地区，由其侧方连续予以打击，渐次驱除肃清之，同时巩固鲁南山地。对津浦北段及陇海东段取侧击之势，牵制敌之南下或西上，以拱卫徐州。”中国军队在津浦路南北两端同时进行的作战，拉开了徐州会战的序幕。