三日拂晓，日军第六师团在长沙北门至东门之间、第三师团在长沙东门至南门之间，同时发动了攻击。神田正种本来就对第三师团“抢功”心怀不满，现在第三师团的攻击受挫，这正是第六师团首先攻占长沙城的好机会。天还没亮，第六师团就向中国守军第一九0师的杜家山、陈家山阵地发起了攻击，日军战机也飞临阵地上空狂轰滥炸，陈家山阵地上的工事全被摧毁，中国守军退守南华女校阵地。第三师团攻击预备第十师的红石嘴陶家冲阵地，葛团长的三十团拼死抵抗，阵地四次失而复得。
方先觉把师部直属的工兵营、特务营和骑兵连加强到三十团方向，日军攻击受挫，伤亡严重。中午，日军空投的伞兵被中国军队第三师九团包围消灭。下午，日军第六师团向南华女校阵地的攻击被击退。傍晚，日军第三师团第六十八联队向东瓜山阵地冲击时，遭到预备第十师密集手榴弹的打击，大队长横田庄三郎以下数百官兵伤亡。为了预防万一，薛岳命令第七十三军的第七十七师渡过湘江进入长沙城内，归李玉堂的第十军指挥，作为预备队控制在南门附近。
三日晚上，中国军队主力已从各个方向围了上来：第四军的第一0二师和第五十九师分别前进到长沙南侧的大托铺和白田铺附近，并完成了攻击准备；第七十九军已开始向侯家冲、东山方向的日军发动攻击；第二十六军抵达了莲塘、永安一线；第七十八军正向春华山推进；第三十七军推进至金井附近；第二十军推进到福临铺和古华山一线；第五十八军抵达了竹山铺。----围歼日军的中国部队都已位于第一攻击线，并按照薛岳的命令向第二攻击线前进。
对于日军来讲，更可怕的是：长沙打不下来的时候后路出现危机。负责掩护后路的第四十师团在金井附近遭到了中国军队的猛烈袭击，各个联队都已陷入苦战。三日下午五时，参谋长木下勇和副参谋长二见秋三郎向阿南惟几提议四日晚开始撤退。阿南惟几拒绝了这一建议。
但是，第十一军司令部的所有参谋都认为，不但长沙已不可能攻占，如不迅速撤退就要落入中国军队的包围中。参谋们知道，第三师团的弹药已经使用殆尽，部队基本上失去了攻击能力。晚上七时四十分，参谋们再次聚集在阿南惟几的身边，提出了必须立即撤退的意见。 日军第十一军终于下达了撤退的命令。日军把他们的“撤退”称为“反转”。包括阿南惟几在内，第十一军的所有军官都清楚，在他们撤退的路上大量的中国军队正等着他们呢。
为隐蔽撤退企图，日军再次向长沙城发动了大规模进攻。中国军队第十军面临着最后一搏。四日凌晨，日军第三师团万人向长沙城南的陶家冲和修械所阵地猛攻，两个阵地先后被日军攻陷，第十军发动反击把修械所阵地又夺了回来。 东瓜山阵地被日军横田大队黑岩中尉的第八支队攻占后，中国守军发动了极其猛烈的反击。 中国预备第十师师长方先觉把辎重营和卫生队都编入了战斗部队，所属各团也把后勤兵全部投入与日军的血战中。
就在预备第十师伤亡殆尽的时候，四日黄昏，获悉日军将要撤退的薛岳下达了追击命令。就在薛岳发出追击命令的同时，日军开始撤退了。日军第六师团刚撤退时，由于长沙方向有第三师团在身后挡着，因此并没有受到剧烈的攻击。但是，师团的卫生队、野战医院、辎重部队和大量的伤员严重拖了撤退的后腿。第六师团最重要的任务是抢占浏阳河渡口要点槊梨市，并以此为据点接应孤悬其后撤退的第三师团。但是，中国军队第七十九军已经控制了东山渡口，第二十六军也抵达了槊梨市附近，迫使第六师团在浏阳河边陷入了与中国军队的激战。
日军第三师团指挥所，于四日天黑后从长沙城东约一公里的周家湾撤退。五日凌晨，第三师团抵达浏阳河边，但渡桥已被中国军队炸毁，第三师团不但看到第六师团正在与中国军队激战，自己也受到了中国军队第七十九军的堵击。而在第三师团的身后，中国军队第四军正由长沙城追击而出。在第七十九军和第四军的夹击下，日军第三师团顿时陷入混乱，大量的辎重和伤员壅塞在泥泞的路上，负责掩护的作战部队拼命抵抗，但撒退的速度仍旧十分缓慢。
第三师团受到阻击后，混乱地沿着浏阳河南岸向磨盘洲涌去，企图从来时的渡河点渡河。但是，磨盘洲对岸已被中国军队占领，强行渡河时毙伤和溺水死者达数百人。第十八联队护送着师团部从磨盘洲下游渡河，刚把军旗安置在一间民房里，院子里就落下了迫击炮弹，瞬间就把护卫军旗的士兵上半身炸飞了，而当时丰岛房太郎师团长就在隔壁。第三师团在磨盘洲渡河不成，下午回头企图向位于槊梨市的第六师团靠近，移动的过程中受到中国军队第四、第七十九军的追捕，损失甚重。五日半夜，第三师团大部终于退到了浏阳河北岸，与第六师团会合了。
在金井地区的日军第四十师团。接到了向春华山前进以掩护第三、第六师团撤退的命令。在与中国军队第三十七军苦战数天后，第四十师团几近弹尽粮绝，勉强移动中各部队都处在不知所措中，因为伤员和辎重队不能跟随行动，于是“与多数伤员一同被留下的龟川联队，笼罩着悲惨的气氛。特别是师团没有可以补给的军需品，留下的弹药只有当初的百分之二十，步枪子弹每人不过十至十五发，手榴弹每一分队只有一至二枚”。为了支撑第四十师团作战，第十一军试图给他们一些补给，然而最后空投下来的竟然只有十发山炮弹。
七日，晴空万里。日军第十一军调来的一个轰炸机中队，对追击中的中国军队进行持续轰炸。晴朗的天气使日军飞行员将地面情况看得清清楚楚。于是阿南惟几接到了空中侦察报告：在第三、第六师团两侧以及前后，大批中国军队正在急促靠近，特别是第六师团将要通过的正前方栗桥附近的隘路已被中国军队占领。这一报告令第十一军的参谋们认为：“各兵团在近期内摆脱敌人是困难的。”
八日，日军第三师团撤退到福临铺南侧，与福临铺北侧的第九混成旅团对在该地阻截的中国军队第五十八军实施夹击，中国守军的阵地被突破，第三师团向新市方向退去。日军第四十师团从罗家冲向彭家坊方向撤退时，遭到中国军队第七十八军和第三十七军的截击，损失严重。