二十二日拂晓，日军开始攻城。城内的二二九团立足未稳，日军从西北两面实施包围，中国守军城里城外的联系被切断。在猛烈的炮火掩护下，日军步兵爬上城墙，双方在城墙上展开了肉搏战， 白天日军没能突破城池，半夜里实施偷袭，带着机枪爬上城墙的西北角，副旅长黄书勋和团长邵恩三登上城门督战，最终把偷袭进来的日军赶了回去。二十三日天一亮，日军爬上了城墙的东北角，并从那里向西、南两面延伸，中国守军的压制未能奏效，大批日军涌入莒县县城，双方随即展开了巷战。 最后时刻，副旅长黄书勋命令把无法携带的两门山炮毁坏，然后放弃县城从南门撤退。
撤退的二二九团一口气跑到莒县西南三十里的夏庄，才与二三0团会合。但是，日军从莒县追了出来。第一一五旅官兵且战且退，一直撤到了夏庄以南约五十里的相公庄。这一战，第—一五旅伤亡官兵五百余人，但毙伤日军也有两百多。占领了莒县和夏庄的日军，继续向临沂前沿阵地汤头推进。在汤头一线，第一一六旅二三二团顽强阻击了五天，最终还是在日军坦克和步兵的联合冲击下不得不撤退，汤头失守。为了迟滞日军的进攻，庞炳勋命第一一五旅二二九团进行反击。这个团在之前的莒县作战中伤亡数百，现在依旧不含糊，迎头与日军相遇时，呈包围态势冲了上去。冲击中，三营营长汪大章阵亡。二二九团最终收复了汤头以南的阵地。
板垣征四郎本以为中国的杂牌部队，别说是阻止他的推进，当是一见到日本旗就会望风而逃，他没想到第五师团此刻真的无法推进了。于是，他把攻击兵力增加到五千余人，并加强了三十余门火炮和二十多辆坦克，于三月九日对临沂前沿阵地发起了总攻。日军发动总攻后，临沂前沿陷入了苦战。双方逐村争夺，来回拉锯。
十二日，日军加强了飞机的轰炸和火炮的轰击，中国守军阵地上的工事全被夷为平地，几乎所有的军官都伤亡了，临时担任指挥的全是士兵。日军从一个角落涌进阵地，士兵们蜂拥而上把敌人压下去；日军又从另一个角落冲上来，士兵们又朝那边冲去，每个人都浑身是血依旧死战不休。终于，援军到了。援军是张自忠部。张自忠带着他的部队在津浦路战场的南北两端来回奔波。庞炳勋没想到张自忠会来增援他。这是一个张自忠部向内突击、庞炳勋部向外反击的作战部署。
十三日，张自忠部向出击阵地开进。第三十八师附属野炮一营为左翼，先占领沂河以西的茶叶山，然后掩护主力展开：第一一三旅和第——二旅为第一攻击部队，向东渡过沂河攻击张家庄、白塔、沙岭一带日军；第一一四旅为预备队，跟随师部位于茶叶山以南的刘家湖。第一八师（缺第八十一旅）附属山炮一营为右翼，在刘家湖以南的安静庄一带展开：第二十六旅为第一攻击部队，向东渡过沂河攻击徐家太平、亭子头一带的日军；第三十九旅为预备队，跟随师部行动。
十四日凌晨四时，在漆黑的夜色中，张自忠部冒着细雨开始强渡沂河。第三十八师东渡沂河后，占领了张家庄、解家庄，继续向南面的白塔攻击前进时遭遇日军主力的阻击，于是攻击演变成残酷的争夺战，最终日军后撤，白塔被第三十八师攻占。中午，日军数十辆汽车运来增援部队，在火炮、坦克和飞机的协助下，增援的日军向张家庄、解家庄发起猛烈反扑，第三十八师奋力抵抗后逐渐不支，傍晚退回沂河西岸。第一八0师强渡沂河后，一路冲杀，先后占领徐家太平、郭家太平、李家太平等村庄。日军增援部队抵达后，这里也演变成争夺战。晚上，日军向郭家太平等村庄实施反击，第一八0师血战两昼夜，将当面日军击退。
由于张自忠部的攻击突然而猛烈，日军猝不及防，死伤惨重。于是，第五师团放弃了正面攻击临沂的计划，将张自忠部变成了主要攻击目标。十六日，日军从莒县增援而来的千余兵力抵达战场，在大量飞机的掩护下向张自忠部实施反击，同时又向张自忠部的后方刘家湖等地发起猛攻，双方随即在沂河两岸展开了惨烈的混战。双方的战线犬牙交错，形成了逐村逐屋争夺的拉锯战。防守茶叶山的第三十八师第二二五团七连全部阵亡；在茶叶山以南，防守崖头阵地的两个连仅剩官兵数十人；在崖头的南面，刘家湖阵地被日军三面包围后，两个营的中国官兵反复冲杀，刘家湖数次失守又重被夺回，最终预备队赶到稳定了阵地。此战，张自忠部伤亡已达六千余人，两个师的连长和排长几乎全部易人，营长也已伤亡过半。
晚上十时，张自忠部再次向当面日军发动了猛攻。各部逐村进击。他们先投掷手榴弹，然后冲过去近距离肉搏。日军无法支撑，逐村后撤，之前丢失的主阵地被张自忠部——一夺回。三天之后，日军于拂晓重新发动反击，在沂河东岸一个名叫李家五湖的村落，一个营的中国守军被日军包围，中国守军虽弹尽仍不退，待增援部队抵达后这个营已无一人幸存。愤怒的增援官兵猛烈追杀正在撤退的日军，被杀死在村外草丛中的日军有三百多人。在日军遗弃的尸体中，中国官兵发现有第十一联队联队长长野佐一郎、第三大队大队长以及第九中队中队长等军官。据被俘的日军一等兵玉立陆夫说，第五师团第二十一旅团旅团长坂本顺指挥的支队伤亡了三千余人。
双方在李家五湖附近形成对峙后，因津浦路正面战局紧张，张自忠又奉命前往增援。但是，他刚率领部队离开临沂，日军得到补充后又发动了攻势，庞炳勋部再次陷入险境。二十三日，蒋介石电令正向费县转移的张自忠部，再次回头解救庞炳勋部。二十五日，张自忠率第五十九军以强行军的速度赶回临沂前线，他向李宗仁表示了“一息尚存，决与敌奋战到底”的决心。部队再次强渡沂河与日军进入激战状态。随后，中国军队第二十军团的骑兵增援而来，张自忠部发起大举反击，日军抵挡不住，撤往莒县，临沂方面再次稳定。