与此同时，宋希濂指挥第七十一军反击兰封。第八十七师负责攻击东北面，第八十八师负责攻击西南面 。 二十六日，战斗开始后，中国官兵发起的数次攻击都没能成功，以致兰封土墙内外双方伤亡枕藉。黄昏，宋希濂命令火炮抵近射击，终于将土墙打开了缺口，中国军队由此获得了立足点，第八十八师自南门爬了进去，第八十七师也冲进去了部分官兵。双方在小城内彻夜巷战，凌晨时分日军弃城逃跑。士兵们把在城内缴获的一匹骏马送给了军长宋希濂，并为骏马取名为“土肥原”。
土肥原贤二早已意识到，中国军队要吃掉他的第十四师团，他已经深陷十倍于己的众兵重围中，突围的方向无从判定，苦战已令部队伤亡巨大。更严重的是，他的后方联络线被完全切断，弹药粮食补给只能依靠空投，师团的机械化兵器，特别是汽车和坦克，在没有燃油的情况下只能抛弃。困境中的土肥原贤二作出了唯一可行的决定：攻陷兰封，然后把主力转移到三义寨、曲兴寨、罗王寨这三个据点内，死守待援。土肥原贤二之所以选择这三个村庄，是因为它们都在黄河边上，可以从水路得到接济。但是，攻占兰封不久，兰封即被中国军队夺了回去。目前，三个据点中，只有三义寨仍在手里。
可是，中国军队围攻土肥原贤二所在三义寨的作战，从经过到结局都令人不可思议。三义寨里的日军凭借战车、骑兵和飞机的支援，不但死守不退，而且还不断出寨反击。二十八日，日军的反击方向是第二十七军的阵地，桂永清又一次“独断命令各部队向杨固集、红庙问地区转移阵地，沿途抛弃无线电机及武器弹药，情形颇为混乱”。最终，围攻三义寨的中国官兵伤亡达两千五百余人，虽然攻克了柴楼、蔡楼、十八寨、何寨、薛楼等小据点，可直到二十九日仍没有攻克三义寨。
就在这一天，蒋介石最担心的事情发生了：在兰封战场的东南面，负责解救土肥原贤二的日军第十六师团，攻克了陇海线上的豫东要地归德（今商丘）。归德的丢失使得战局瞬间转变：准备围歼日军第十四师团的作战，因侧背受到日军第十六师团的威胁，中国军队不得不转为守势，且须立即调兵阻击日军第十六师团的进攻。同时，在战场的北面，日军混成第四旅团正准备强渡黄河，与近在咫尺的第十四师团会合。更严重的是，日军第十师团配属混成第十三旅团，攻占了豫皖交界处的涡阳和毫州，正向豫东急速包抄而来。——豫东地区的中国军队已处在被日军反包围的态势中。
五月三十一日，中国第一战区做出了全面撤退的决定。一场兵力占据绝对优势、战场态势极其有利、势在必得的战役，结局竟然是全面撤退。蒋介石所担忧的“千古笑柄”成为了现实。豫东战场上的中国军队主力开始迅速向西转移。
六月三日，日军第十六师团攻占杞县、通许和陈留；四日，日军第十四师团攻占兰封后向西进击，与第十六师团一起合攻开封城。中国守军第一四一师，在师长宋肯堂的率领下拼死抵抗，无奈日军兵力和武器都占据优势，六日开封城陷落。随后，日军沿陇海铁路直扑中牟，第十六师团占领尉氏和扶沟，第十师团占领柘城。尽管薛岳命令死守中牟县城和车站，宣称谁再擅自撤退依法严惩，但还是有将领临阵溃逃。十日，日军第十四师团前锋部队炸毁了郑州以南的平汉铁路；十二日，日军第十六师团派出的挺进队，炸毁了新郑东南六公里处的京汉线铁路桥。
由开封、中牟至郑州，仅七十公里的距离。日军战机开始轰炸郑州， 郑州已处在日军第十四师团与第十六师团的夹击态势下。郑州是中国中原重镇，平汉铁路与陇海铁路的交会点。一旦郑州被日军占领，不但平汉、陇海两条重要的铁路线将被切断，更重要的是：一、日军可沿陇海线西进，攻取洛阳和西安，进而窥伺汉中，逼近中国整个抗战的大后方西南；二、日军的机械化部队可以沿平汉铁路线向南长．驱直入，威胁当时中国的政治和军事中心武汉。为此，中国统帅部的最后决定是：掘开黄河大堤，阻止日军前进。这一惊人的决定，并非临时起意，而是酝酿甚久。
据中国第一战区参谋长晏勋甫回忆，早在一九三五年，中国方面制订未来对日作战腹案时，就已考虑到一旦日军逼近郑州可以采取的应对方案：其一是把郑州付之一炬，其二便是掘开黄河大堤。一九三七年秋，蒋介石的德国军事顾问法肯豪森，曾建议用黄河作为“最后战线”，决堤造成“人工泛滥”以遏制日军攻势。一九三八年四月，陈果夫致函蒋介石，建议在河南武陟县境内掘开黄河北堤，，目的是在日本人用决堤的方式阻挡我军之前，我方抢先选择合适的地点决堤以使日军置于“危地”。徐州失守后，利用黄河水阻挡日军的建议被再次提出，第一战区司令长官程潜认为，也只有决堤才能让中国军队“渡过此种难关”。决定得到了蒋介石的口头批准，但程潜深知此举后果严重，又正式发电请示，得到了蒋介石的复电批准。
决堤任务交给了刘和鼎的第三十九军，决堤地点选择在中牟县的赵口和郑县的花园口两处。黄河河堤，为防范泛滥连年修筑，以致高高耸立在河岸之上，无论是赵口还是花园口，河堤都宽达八米以上、高在’十米以上，竟然使河堤本身成为坚实的公路。为此，中国统帅部专门派工兵专家王果夫对决堤进行设计和指导，在布置部队进行伪装和施工的同时，要求所有地方政府机构对附近的农民进行迁移和救济。
在赵口执行决堤任务的，是第三十九军第五十六师的一个团，这个团六月四日凌晨开始作业，上级限定的时间是次日凌晨前放水。但是，赵口的河堤土质多沙，狭窄的掘口随挖随塌，炸药对沙质土壤效力甚微，沙土飞溅起来仍落于原处，因此到了限定时间挖掘仍没完成。心情焦灼的蒋介石怕决堤官兵心有顾虑，亲自打电话给刘和鼎军长：“这次决口有关国家民族命运，没有小的牺牲，哪有大的成就。在这紧急关头，切戒妇人之仁，必须打破一切顾虑，坚决于去，克竟全功。”第二天，第二十集团军总司令商震亲自到赵口监督，并加派了一个团协助挖掘，可直到七日下午仍旧没有成功。日军已逼近中牟县的白沙镇。