一九三八年五月二十九日，日军大本营命令华中派遣军与海军“中国方面舰队”协同，攻取长江芜湖以下之安庆、马当、湖口和九江，作为进攻武汉的前进基地。六月一日，华中派遣军和海军方面协商后，决定由波田支队，海军第十一战队，第四、第五特别陆战队以及第二联合航空队共同组成西进部队，从芜湖出发沿长江南岸发起进攻；同时，稻叶四郎的第六师团与第三飞行团协同，从长江以北的庐州（今合肥）出发，向西南方向进攻舒城、桐城、潜山、太湖、宿松、黄梅等地，与波田支队并行以为策应。
首先发动进攻的是日军第六师团。第六师团的先头部队，是以坂井德太郎指挥的第十一旅团为基干的坂井支队。六月二日，配属了独立山炮兵第二联队的坂井支队从庐州南下。同日，日军第十三师团，也从北面的蒙城南下，四日攻占凤阳，五日攻击正阳关。大雨倾盆，道路泥泞，在庐州以西的中国军队第二十六集团军徐源泉部不但破坏了道路，而且对南下的日军不断地进行奇袭式阻击，使得日军的推进艰难而缓慢。当徐源泉部逐步向西退至六安附近时，日军坂井支队开始全力攻击舒城方向的中国守军第二十七集团军杨森部。蒋介石电令徐源泉火速增援杨森部，对攻击舒城的日军加以侧击。但是，大雨导致山洪暴发，徐源泉部的增援行动受阻，直到十二日才接近舒城，而这时候由于杨森部被击溃，舒城已经陷落。
在长江以南，六月七日，波田支队由镇江起锚出发，日本海军陆战队也从南京出发，两军在芜湖会合编组后，波田支队乘坐海军舰船开始溯长江西进。日本海军通告驻汉口的各国领事馆，宣称日军将沿中国长江西进作战，芜湖至湖口间的航道为作战区，各国军舰和商船必须立即撤出。十二日中午，日军舰队抵达安庆东南方向的铁板洲、阎王庙和将军庙一带江面停泊。下午三时，日军海军陆战队队员冒着大雨在长江南岸登陆，占领了一个名叫上窑沟的炮台；波田支队主力则从长江北岸登陆，沿着江堤经新河口、大王庙、鲍家村等地向安庆推进。
在这个方向防御的中国军队，还是第二十七集团军杨森部。第二十七集团军是川军部队，下辖第二十军的第一三三、第一三四两师，奉命调入第五战区后，第三战区部队第二十一军之第一四五、第一四六两师被配属给杨森指挥。虽然有了四个师的兵力，但杨森负责的防线却纵贯长江以北的舒城、桐城、安庆一线。杨森感到在他的部队的正面，战线太长，兵力太少，任务太重，于是致电蒋介石强烈要求起码再给他增加两师兵力。这是日军由淮南和芜湖兵分两路发起直指武汉的进攻后，中国军队的战地将领首次有人提醒最高统帅部：武汉以东长江沿线的防御十分薄弱。这封电报对战场局势的判断基本正确，建议和请求也符合战局的需要，特别是对一旦安庆丢失产生的严重后果的阐述将被日后的战争进程与演变所证实。
结果，连波田支队都甚感意外，沿长江防守的中国军队其稀薄程度近似于弃守。在长江的大堤上，仅有杨森指挥的第二十一军以及一些地方保安团进行了些微的抵抗。于是，日军犹入无人之境，十二日晚占领安庆城郊机场，十三日早晨占领安庆。杨森部因腹背受敌，被迫向潜山、太湖方向撤退。同时，南下的日军第六师团坂井支队，在突破了杨森部的节节抵抗后，于十三日占领桐城。然后，两路日军水陆并进，开始向大别山麓中国军队的前沿阵地潜山疾速推进。
舒城、桐城、安庆的相继陷落，使日军得以利用庐州至安庆的公路，从而拥有了进攻武汉的战略出发点。令人费解的是，在长江以北地区防守的中国军队，共有九个师之多，再加上地方武装，相对于其防御区域的面积而言，也许兵力确实稀薄，但也没有稀薄到无力抵抗的地步。从庐州一路南下的日军，仅动用了少量先头部队，攻击安庆的波田支队甚至只动用了几百兵力，但是中国守军无不是一触即溃，十余日内竟然失地数百里。蒋介石以军令部长徐永昌的名义，发电给杨森部驻湖北办事处。电文说，川军在几百日军的攻击下丢失安庆，是一个世界级的笑话，命令杨森必须坚守潜山的现有阵地。
杨森接到这封电报时，潜山已经失守。日军坂井支队占领桐城后，十四日开始向潜山推进，突破中国守军第一三四师的外围阻击后，兵分三路迂回潜山城，第一三四师撤退到潜山城北，但在日军步兵和航空兵、炮兵和骑兵的联合攻击下，被迫再向潜水西岸转移，十七日潜山落入日军之手。十八日，日军坂井支队强渡潜水，遭到中国守军的阻击。连日的阴雨导致山洪暴发，潜水涨水致使河面宽达三百米，日军在付出极大伤亡后突破潜水，占领了西岸阵地。十九日，日军骑兵部队快速向潜山以南突击，冲破中国守军第一四五师的阻击，当晚占领石牌。
面对日军的快速突击，蒋介石一面调动部队向潜山方向实施反击作战，一面命令长江沿线各部队将领掘开长江大堤，企图再次利用水障阻挡住日军凶猛的攻击势头 。长江大堤比黄河大堤更宽更高也更为坚固，因沿江中国军队没有相应的技术和设备，加上战局瞬息万变，这一再次使天然大江溃决的命令最终没有得到执行。
安庆、潜山和怀宁的失陷，使得长江上重要的阻敌屏障马当和湖口要塞暴露在西进日军的攻击下。六月十八日，日军华中派遣军命令波田支队与海军密切配合， 攻取马当和湖口。长江要塞之一马当，地处江西彭泽县境内，南距彭泽县城三十公里，沿江距九江八十公里，矗立于江边的马当山和小孤山互成犄角。江中的沙洲把江流一分为二，左水道极其狭窄，早已淤塞不通；右水道流经马当山下，形成长江中游最狭窄的江段，水流湍急，地势险要，江面宽不及千米。马当由此成为长江天堑，是重要的军事要塞。
上海和南京失守后，为防日军沿江而上进攻武汉，国民政府军事委员会专门成立了长江堵塞委员会，负责马当要塞江防的设计和施工。该工程在本已十分狭窄的长江水道上，又修筑了一条横贯两岸的阻塞线。如此这般，等于在长江的狭窄水道上筑了一道拦江坝。工程完工后，马当水面仅在靠近南岸的地方留出了一条可通行一只船的航道。拦河坝浸在水面下约两米处，除了百姓的大小木船，任何在江面上航行的大型舰船，只能在预留的狭窄航道上谨慎航行。即便如此，也很容易撞上乱石和铁锚构成的拦河坝，要么受损搁浅，要么被撞伤沉没。