一九四一年一月十六日，日军大本营召开陆军会议，审议《大东亚长期战争指导纲要》和《对华长期作战指导计划》，两者的相同点是都强调了令日本军政高层深感忧虑的“长期”二字。 日军大本营每年颁布“对华作战指导计划”时，都规定该年度为“解决中国事变”的最后期限，可直到一九四一年，庞大的日军仍陷于中国战场上。
西尾寿造决定，日军今后的作战方式应为“短距离截断作战”。即为节省兵力和减少消耗，不与中国军队远距离大纵深作战，而是取短促突击的方式。根据派遣军司令部的部署，日军第十一军司令官园部和一郎开始积极寻找“短距离截断作战”的战机。经过了随枣会战、枣宜会战之后，不知为什么，日军第十一军的将领们依旧认为，他们当面中国军队的主力还是汤恩伯部。
第十一军占领宜昌后，汤恩伯部曾是与日军对峙距离最近的中国军队，可是，很快，日军就找不到汤恩伯部的踪影了。一九四一年一月间，突然传来情报说，汤恩伯部出现在河南信阳以北约一百多公里的遂平和项城一带。汤恩伯到河南干什么去了？日军分析后认为，其移动目的不是针对日军，而是针对共产党武装。
这一判断今日军很是兴奋。第十一军立即拟订出作战设想：先向中国第五战区的襄阳方向实施佯攻，以造成日军大规模进攻第五战区的假象，按照中国军队一战即退的惯例，汤恩伯部必会向西北方向避退，那时候在半路上将其包围歼灭。根据“短距离”的原则，日军第十一军把攻击限度定为河南信阳东北八十公里的光州、新蔡和西平一线---他们估计汤恩伯部要跑也只能跑到这里就会被围住了。
日军占领宜昌后，侧背依旧受到中国军队的威胁，因此与第五战区对峙的兵力约有步兵七个半师团、独立骑兵一个旅团、独立战车三个联队、独立野战重炮兵一个联队，总兵力为十五万，集中在安阳、新乡和信阳等机场的一百余架飞机可随时提供作战支援。而位于平汉路和黄泛区一带的汤恩伯的第三十一集团军，除李仙洲的第九十二军配置在豫皖交界处的界首负责监视豫东的日军外，其他各军都部署在平汉路的正面。
为围歼汤恩伯集团，日军第十一军抽调了第三、第四十师团的主力以及第四师团一部参战，位于京沪地区的第十三军以第十七师团主力和第十五师团一部增援。参战部队分成三路，其兵力部署是：左兵团由第三师团主力并附属第四师团的步兵第八联队和水野坦克部队组成，沿平汉路在信阳以西由小林店向北面的高邑、舞阳方向进攻；中央兵团由第十七师团主力并附属第十五师团的步兵第六十七联队以及吉松、楠獭等坦克部队组成，沿平汉路从信阳以北的明港向北面的西平方向进攻；右兵团由第四十师团主力组成，在平汉路以东由正阳向北面的上蔡方向进攻。
此外，为了策应作战，在战场外围的皖北方向，日军骑兵第四旅团并附属平林坦克部队由毫县向涡阳进攻，第二十一师团的一个联队由宿县向西攻击；在豫东方面，第三十五师团出动两个步兵联队和骑兵、坦克和炮兵各一部，分别由开封以及南面的朱仙镇向黄泛区进攻。
日军将在豫南发动进攻的态势已经十分明显。中国方面的判断正确无误：日军不但将在豫南发动进攻，而且是沿着平汉路向北攻击，目标是驻扎在南阳以东地区的汤恩伯的第三十一集团军；而皖北和豫东的日军西犯，是为了策应平汉路的攻势。
中国第五战区迅速调整部署：孙连仲的第二集团军在平汉路以西，主力集结于豫南泌阳附近；汤恩伯的第三十一集团军于平汉路东西两侧，分别集结于西起象河关东至汝南一线；莫树杰的第八十四军主力位于第三十一集团军的侧面，集结于汝南以南的息县；黄维纲的第五十九军向鄂北与豫南交界处的枣阳靠拢；王缵绪的第二十九集团军向枣阳以东的桐柏和新城开进；第二十九集团军和第二集团军还需派出有力部队潜入日军后方实施骚扰。
汤恩伯判断，日军必会沿着泌阳至舞阳的公路以及平汉铁路分路北上。依据这一判断，他将第三十一集团军部署如下：第十三军控制在舞阳以南的尚店、象河关、土山镇、仪封镇一带，形成向东或向西都可以实施夹击的姿态；第八十五军派出一个师沿平汉铁路正面节节抵抗，负责诱敌深入，主力则控制在上蔡至汝南之间，准备自东向西侧击沿平汉路北上的日军；位于鄂北随县的第二十九军进至豫南的桐柏附近，一路跟踪日军北上，伺机行动。
二十日，为隐蔽向豫南进攻的意图，也为牵制中国第五战区部队，吸引其向西移动，日军独立混成第十八旅团以及第四、第三十九师团各一部，在湖北当阳、荆门和钟祥方向，向冯治安的第三十三集团军和王缵绪的第二十九集团军阵地实施了佯攻，一直突进到当阳以北的远安地区。但是，日军的此路佯攻不但被中国守军击退，且并没有起到预想的效果---中国第五战区主力部队没有移动。二十四日夜，日军左兵团的第三师团向信阳北侧的中国守军阵地实施奔袭，企图一举切断中国守军的退路，但遭到中国军队第二集团军第六十八军的顽强阻击。这一路日军的袭击也没有奏效。
尽管前期作战没达到目的，日军对豫南的正式进攻还是在二十五日开始了：左翼在小林店、古城和查山一线，中央兵团在明港附近，右翼在槐角镇和正阳之间，三路日军沿平汉路齐头并进向北攻击。日军航空兵照例协同地面作战，对中国守军阵地实施了猛烈轰炸。中国守军按照预定部署，滞留少量部队在正面阻击，主力则逐步向日军进攻路线的侧后转移。
二十六日，日军左翼和中央六团推进到泌阳、邢店和确山一线：二十七日继续向北，推进到春水、沙河店和驻马店一线。两路日军两天之内深入了近百公里。这一天，中国第五战区的命令是：汤恩伯的第三十一集团军在日军主攻路线的侧后，对日军实施尾追和夹击。即张雪中的第十三军在平汉路西侧，攻击象河关附近的日军第三师团；李楚瀛的第八十五军在平汉路东侧，攻击上蔡附近的日军第四十师团。同时，第五战区命令奠与硕的第八十六军尾追日军第三师团并实施攻击；曹福林的第五十五军由鄂北的唐河向豫南的泌阳方向移动，第三十二集团军黄维纲的第五十九军也速向南阳靠拢。