与此同时,宋希濂指挥第七十一军反击兰封。第八十七师负责攻击东北面,第八十八师负责攻击西南面 。 二十六日,战斗开始后,中国官兵发起的数次攻击都没能成功,以致兰封土墙内外双方伤亡枕藉。黄昏,宋希濂命令火炮抵近射击,终于将土墙打开了缺口,中国军队由此获得了立足点,第八十八师自南门爬了进去,第八十七师也冲进去了部分官兵。双方在小城内彻夜巷战,凌晨时分日军弃城逃跑。士兵们把在城内缴获的一匹骏马送给了军长宋希濂,并为骏马取名为“土肥原”。
土肥原贤二早已意识到,中国军队要吃掉他的第十四师团,他已经深陷十倍于己的众兵重围中,突围的方向无从判定,苦战已令部队伤亡巨大。更严重的是,他的后方联络线被完全切断,弹药粮食补给只能依靠空投,师团的机械化兵器,特别是汽车和坦克,在没有燃油的情况下只能抛弃。困境中的土肥原贤二作出了唯一可行的决定:攻陷兰封,然后把主力转移到三义寨、曲兴寨、罗王寨这三个据点内,死守待援。土肥原贤二之所以选择这三个村庄,是因为它们都在黄河边上,可以从水路得到接济。但是,攻占兰封不久,兰封即被中国军队夺了回去。目前,三个据点中,只有三义寨仍在手里。
可是,中国军队围攻土肥原贤二所在三义寨的作战,从经过到结局都令人不可思议。三义寨里的日军凭借战车、骑兵和飞机的支援,不但死守不退,而且还不断出寨反击。二十八日,日军的反击方向是第二十七军的阵地,桂永清又一次“独断命令各部队向杨固集、红庙问地区转移阵地,沿途抛弃无线电机及武器弹药,情形颇为混乱”。最终,围攻三义寨的中国官兵伤亡达两千五百余人,虽然攻克了柴楼、蔡楼、十八寨、何寨、薛楼等小据点,可直到二十九日仍没有攻克三义寨。
就在这一天,蒋介石最担心的事情发生了:在兰封战场的东南面,负责解救土肥原贤二的日军第十六师团,攻克了陇海线上的豫东要地归德(今商丘)。归德的丢失使得战局瞬间转变:准备围歼日军第十四师团的作战,因侧背受到日军第十六师团的威胁,中国军队不得不转为守势,且须立即调兵阻击日军第十六师团的进攻。同时,在战场的北面,日军混成第四旅团正准备强渡黄河,与近在咫尺的第十四师团会合。更严重的是,日军第十师团配属混成第十三旅团,攻占了豫皖交界处的涡阳和毫州,正向豫东急速包抄而来。——豫东地区的中国军队已处在被日军反包围的态势中。
五月三十一日,中国第一战区做出了全面撤退的决定。一场兵力占据绝对优势、战场态势极其有利、势在必得的战役,结局竟然是全面撤退。蒋介石所担忧的“千古笑柄”成为了现实。豫东战场上的中国军队主力开始迅速向西转移。
六月三日,日军第十六师团攻占杞县、通许和陈留;四日,日军第十四师团攻占兰封后向西进击,与第十六师团一起合攻开封城。中国守军第一四一师,在师长宋肯堂的率领下拼死抵抗,无奈日军兵力和武器都占据优势,六日开封城陷落。随后,日军沿陇海铁路直扑中牟,第十六师团占领尉氏和扶沟,第十师团占领柘城。尽管薛岳命令死守中牟县城和车站,宣称谁再擅自撤退依法严惩,但还是有将领临阵溃逃。十日,日军第十四师团前锋部队炸毁了郑州以南的平汉铁路;十二日,日军第十六师团派出的挺进队,炸毁了新郑东南六公里处的京汉线铁路桥。
由开封、中牟至郑州,仅七十公里的距离。日军战机开始轰炸郑州, 郑州已处在日军第十四师团与第十六师团的夹击态势下。郑州是中国中原重镇,平汉铁路与陇海铁路的交会点。一旦郑州被日军占领,不但平汉、陇海两条重要的铁路线将被切断,更重要的是:一、日军可沿陇海线西进,攻取洛阳和西安,进而窥伺汉中,逼近中国整个抗战的大后方西南;二、日军的机械化部队可以沿平汉铁路线向南长.驱直入,威胁当时中国的政治和军事中心武汉。为此,中国统帅部的最后决定是:掘开黄河大堤,阻止日军前进。这一惊人的决定,并非临时起意,而是酝酿甚久。
据中国第一战区参谋长晏勋甫回忆,早在一九三五年,中国方面制订未来对日作战腹案时,就已考虑到一旦日军逼近郑州可以采取的应对方案:其一是把郑州付之一炬,其二便是掘开黄河大堤。一九三七年秋,蒋介石的德国军事顾问法肯豪森,曾建议用黄河作为“最后战线”,决堤造成“人工泛滥”以遏制日军攻势。一九三八年四月,陈果夫致函蒋介石,建议在河南武陟县境内掘开黄河北堤,,目的是在日本人用决堤的方式阻挡我军之前,我方抢先选择合适的地点决堤以使日军置于“危地”。徐州失守后,利用黄河水阻挡日军的建议被再次提出,第一战区司令长官程潜认为,也只有决堤才能让中国军队“渡过此种难关”。决定得到了蒋介石的口头批准,但程潜深知此举后果严重,又正式发电请示,得到了蒋介石的复电批准。
决堤任务交给了刘和鼎的第三十九军,决堤地点选择在中牟县的赵口和郑县的花园口两处。黄河河堤,为防范泛滥连年修筑,以致高高耸立在河岸之上,无论是赵口还是花园口,河堤都宽达八米以上、高在’十米以上,竟然使河堤本身成为坚实的公路。为此,中国统帅部专门派工兵专家王果夫对决堤进行设计和指导,在布置部队进行伪装和施工的同时,要求所有地方政府机构对附近的农民进行迁移和救济。
在赵口执行决堤任务的,是第三十九军第五十六师的一个团,这个团六月四日凌晨开始作业,上级限定的时间是次日凌晨前放水。但是,赵口的河堤土质多沙,狭窄的掘口随挖随塌,炸药对沙质土壤效力甚微,沙土飞溅起来仍落于原处,因此到了限定时间挖掘仍没完成。心情焦灼的蒋介石怕决堤官兵心有顾虑,亲自打电话给刘和鼎军长:“这次决口有关国家民族命运,没有小的牺牲,哪有大的成就。在这紧急关头,切戒妇人之仁,必须打破一切顾虑,坚决于去,克竟全功。”第二天,第二十集团军总司令商震亲自到赵口监督,并加派了一个团协助挖掘,可直到七日下午仍旧没有成功。日军已逼近中牟县的白沙镇。