余荫山房始建于清同治年间,是岭南四大园林之一,虽然面积最小,但原貌保存最完好,是典型的岭南园林建筑。

1922年,邬氏第四代孙邬仲瑜在南面又建了一个名叫“瑜园”的园林,其中包括与清晖园“小姐楼”相似的两层船厅,后来并入余荫山房。


园林中有东西两个并排的庭园,构成整齐的几何布局。东部庭园是一个方形水池,池塘旁边的建筑和景物都与水平行,形成了一个方形的构图,深柳堂和临池别馆隔着池子相对。西部庭园是一个八角形的水庭,中间有一个八角形的水厅,庭院内的桥梁、廊道和路径都与八角形的边缘平行或垂直。


玲珑水榭是一个八角形的卷棚歇山顶建筑,窗户可以从八个方向打开,既可以通风,又可以欣赏到八个方向的景色。虽然余荫山房的面积不大,但将“藏而不露,缩龙成寸”这八个字表现得淋漓尽致。


深柳堂作为余荫山房的主体建筑,极为引人入胜,它将山墙的一面旋转了90度,作为正面,这减小了建筑体量,同时也将山墙上的灰塑移到了最佳观赏位置。

余荫山房的竹门后面有一座小山,它的巧妙之处在于起到了掩映的作用,使人们不至于一眼看到外墙,从而留出了遐想山后景象的空间。