就在北宋朝廷上下为黄河的北流与东流争持不下的时候，崛起于东北地区的女真人建立金国,挥师中原,一下子就抓走徽宗和钦宗两位皇帝,北宋王朝宣告覆亡。刚刚在临安(今杭州)建都的南宋王朝,又有人提出了人为决河、利用黄河水阻遏金兵南下的“奇策”。

南宋高宗建炎二年(1128)冬天,宋人在今滑县西南一个当时叫作李固渡的地方,扒开河堤,实施了“以水当兵”的防御措施。决出的河水冲向东南,流经濮阳、东明、鄄城、郓城、巨野、嘉祥、金乡一带汇入泗水,再由泗水进入淮水,东流入海,在历史记载中把它概括地记述为“由泗入淮”。黄河“由泗入淮”,丝毫没有挡住金人的兵锋,但是却从此离开了春秋战国以来流经今浚县和滑县南旧滑城之间的故道,不再东北流向渤海,改为以东南方向流入淮河。这是黄河变迁史上的第四次重大改道。

浚县与滑县之间是黄河下游的窄段,由于这一段河道南北的山地制约,北宋以前下游河道决口后移徙摆动的范围,基本上被限制在太行山以东、山东丘陵以北的河北平原上。南宋初,脱离这段河道的控制以后,下游河道开始在今豫东北到鲁西南这一范围内摆动。

建炎二年“由泗入淮”的黄河河道,至今郓城陈里长西分为两支,一支向东北注入巨野泽,然后向北流入北清河;另一支向东南流,又转东北入巨野泽,再东南出,与泗水(今泗河)相合,再下沿泗水河道,经今徐州东南汇淮入海。

到金世宗大定八年(1168),黄河干流又一次决口,致使河道发生了比较明显的变化。当时黄河在李固渡附近溃决,冲出了一条新的河道,即由李固渡向东南流经今长垣东北、东明南、定陶西、曹县南、虞城东北、砀山北、萧县北,绕经徐州与旧河道相合,东南经今邳州西南汇入淮水。这条新河道形成后,原来的旧河道仍并行不废,于是出现了南北两道分流的局面。

新出现的“南流”夺去了全河五分之三的水量,建炎二年形成的“北流”仅剩五分之二。这种几股岔流同时存在,几股河道迭为主次的局面,在这一时期内反复出现过几次。譬如大定末年出现过三股河道并行的状况,直到金章宗泰和八年(1208),这三股河道才重又合而为一,自今新乡折向东流,经延津北、封丘北、东明南、定陶南、单县南、砀山北、徐州等地,由泗入淮。

在这一时期,黄河河道的迁改极为频繁。河道如此动荡不定,是前所未有的,其中既有自然的原因,也有人为的作用。河道移荡的自然原因是今豫东北和鲁西南地区的河道,起初大多是由河水决出在平地漫流而成,河床宽浅、水流不受约束。岸上虽然也有堤防,但是多为砂土所筑,洪水一到,很容易被冲毁击溃,所以在汛期往往会决出几股岔流并行。

与自然的因素相比,人为因素的影响对于河道的频频变迁起到了更大的作用。当时宋金两个朝廷相互对峙,在金人最初南侵时,宋朝曾一度同意与金人划黄河为界,这样河道不断向南摆动,会自然而然地扩大金人的统治区域,所以金人根本无意去固定河道。另外,黄河河道主要游移在临近南宋疆域的地区,金朝政府也担心大规模征集民夫整治河道会引起人心动荡,给宋人以可乘之机,所以在河道溃决后不敢全力筑堤堵口。在这种政治形势下,金朝政府对于黄河河道的治理极为消极,结果使得在这一时期内长期存在着黄河下游多股分流、主河道变更不定的局面。