李宗仁将刘士毅的第三十一军调到了津浦路南段的滁州、明光一线阻击日军。这一线，明光的西北面是津浦路上的蚌埠，滁州的南面就是长江北岸的浦口了。中国陆军第三十一军隶属于第十一集团军，是桂系部队。第十一集团军原本还辖第七军和第四十八军，但这两个军投入淞沪战场后被编为第二十一集团军，因此第十一集团军总司令李品仙手里只有第三十一军了。尽管李品仙不是李宗仁的嫡系，但也算得上是桂系干将，属于李宗仁的“亲兵”。桂军以死打硬拼闻名。
当日军第十三师团沿津浦路开始向北推进时，受到了中国陆军第三十一军的顽强阻击。第三十一军官兵利用有利地形死守，同时不断派出小股部队实施袭扰性反击，竟与兵力多于自己数倍的日军纠缠了一个多月。日军得知当面仅仅是一股广西部队时，大感意外，认为被这样一群武器简陋的广西人阻击月余，简直是日本陆军的耻辱。李宗仁对桂军的表现非常满意，命令第三十一军“始终钉住津浦线，使敌军不能北进.
但是，当日军从南京调来坦克和重炮后，第三十一军顶不住了，明光很快失守。接着，日军第十三师团兵分三路同时推进：第二十六旅团从明光北渡池河，沿津浦路向蚌埠推进；第十三师团主力从滁县出发，北渡池河后经由凤阳向蚌埠推进；第六十五联队从浦口以西的全椒出发，迂回津浦路西侧掩护主力北上。后撤中的中国军队第三十一军奉命在蚌埠西面的铁路一带侧击日军，并以一部兵力于战场正面的池河与淮河间逐次抵抗以迟滞日军的推进。但是，三路日军协同发起的攻势极其凶猛，二月一日日军占领临淮关，二日占领蚌埠、凤阳和定远，其前锋已抵进淮河南岸。九日，一部日军强渡了淮河。
如果让日军主力渡过淮河，津浦路南段的中国军队将无险可守。李宗仁将防守淮河的任务交给了于学忠的第五十一军，于学忠久经沙场，作风硬朗，他的第五十一军虽仅有两师，但东北军官兵因家破人亡战斗意志格外强劲。于学忠率部在五河至蚌埠间布防，这是一条东西走向的防线，所扼守的淮河河段正对着北上的日军。官兵们还在赶修工事的时候，就与攻占临淮关后企图强渡淮河的日军接上了火，激战四小时后，强渡的日军被第一一四师官兵击退。二月三日，北上日军利用抢来的民船和自带的橡皮艇，在飞机和火炮的掩护下再次强渡淮河，遭到第一一四师第三四二旅的顽强阻击，被打死在淮河中的日军不下三四百人，但仍有一部分日军渡过了淮河。四日早晨，第一一三师赶到战场，与第一一四师一起发起反击，硬将渡过淮河的那部分日军赶回了南岸。但是，日军第二十六旅团一部绕道蚌埠以西渡河成功，攻占了怀远并进抵涡河。于学忠紧急调整部署，命令第一一三师和安徽保安二团防守小蚌埠镇直至怀远、涡河一线阵地，命令第一一四师在第一一三师的左翼防守临淮关北岸至西门渡的阵地。
小蚌埠镇位于蚌埠以北的淮河北岸。八日，二十余架日军战机密集地轰炸了小蚌埠镇，然后千余日军步兵在猛烈的炮火准备后，再次强渡淮河。第一一三师第三三七旅官兵拼命抗击，两次击退强渡的日军。日军无奈，实施夜间强渡，一度登上淮河北岸，攻占了小蚌埠镇。第一一三师师长周先烈命令六七四团团长梁忠武率部反击，双方激战至凌晨一时，六七四团官兵将日军击退，夺回小蚌埠镇。十日拂晓，日军再次发动攻击，六七四团昼夜战斗伤亡过半，小蚌埠镇阵地失守。军长于学忠亲临前线，命令第三三九旅组织敢死队反击。旅长窦光殿亲率敢死队身先士卒，东北军官兵即刻与日军扭打成一团，惨烈的肉搏战持续了数个小时，日军的尸体横陈于小蚌埠镇内，被赶下淮河淹死的日军也在数百人以上。
小蚌埠镇反击战进行的同时，数千日军从东面的临淮关强行渡河，一度攻占了淮河北岸的几个村庄，第一一四师师长牟中珩、第三四二旅旅长李雨霖率部发起反击，将失守的村庄一一夺回。十一日，已坚守阵地近十个昼夜的中国守军迎来了战斗最血腥的一天，日军的飞机、重炮和坦克持续轰炸和轰击，第五十一军的防御阵地多处被突破，严重的伤亡致使预备队也使用殆尽，多天未食未眠的第五十一军官兵数次发起绝地反击，仅小蚌埠镇失而复得得而复失竟达五次之多。最终，小蚌埠镇落入日军之手。
十三日，第五十一军展开了全线决死反击。于学忠军长和两位师长及四位旅长全部上了前沿。小蚌埠镇方向的第一一三师与日军死战不休，残酷的拉锯战进行了八个小时，双方仍处于胶着状态。临淮关方向的第一一四师，付出巨大伤亡夺回了部分阵地，但当日军后续渡河部队投入战场后，第一一四师伤亡已达两千多人，淮河沿岸阵地多处失守。危急时刻，又一支中国军队赶到了战场。张自忠来了。张自忠的第五十九军，刚刚转隶第五战区，便接到了李宗仁让他们接替第五十一军防御淮河的命令。张自忠立即率部而上，将伤亡惨重的第五十一军替换下来，在防御线上布防了五十九军第三十八师和第一八0师。
为了策应张自忠部，李宗仁部署了一系列的反击行动：韦云淞的四十八军在蚌埠以南固守炉桥、洛河一线；刘士毅的第三十一军在淮南东北方向猛烈围攻上窑的日军；周祖晃的第七军在津浦路以西向池河、定远的日军发动侧击。同时，在李宗仁的请求下，中国空军轰炸了蚌埠至临淮关的日军阵地。位于淮河战场正面的张自忠认为，与其死守不如全力反击。张自忠对他的第五十九军官兵只说了一句话：“谁也不许后退，跟着我拼命保国。
由于卢沟桥事变时在天津和北平的表现，张自忠始终在国人的谴责和自我的负疚中备受折磨。北平和天津迅速沦陷后，第五十九军官兵也与张自忠一样承受着全国舆论的压力，整个部队的心气犹如即将爆发的火山。张自忠命令两个师各组一个加强团，以决死的意志向淮河全线发动反击。十五日，反击作战开始，两个加强团于左右两翼向当面日军扑了上去。强渡成功的日军由于主力已经到达，没有预料到中国军队能够实施反击。在第五十九军官兵的猛烈冲击下，日军阵地出现动摇，开始后退。战斗到十八日，张自忠部依旧在不分昼夜地猛打猛冲，直至把日军赶回淮河南岸。二十日，第五十九军官兵终于冲进了小蚌埠镇。——沿津浦路南段北上的日军，经过二十多天的苦战，付出巨大代价后渡过了淮河，自认为当面的中国军队已被打垮，可谁知又被赶回了淮河南岸。
中日两军再次于淮河两岸形成对峙。淮河阻击战，面对日军一个师团另附三个联队、七个大队的步兵，加上七个中队的航空兵、工兵、炮兵、装甲兵和铁道兵的联合攻击，中国军队中的桂军、东北军、西北军轮番上阵，让日军付出了伤亡三千余人的代价，最终未能突破淮河防线北进，这不能不说是中日开战以来令人振奋的一次胜利。