汉哀帝刘欣在位时上林苑已经相当衰落，宫观数量不及盛期的几分之一，很多空闲土地被百姓占据。元寿二年（前 1 年），匈奴单于囊知牙斯来朝，汉廷根据当年太岁星运行的位置，特意安排单于住进上林苑的葡萄宫，隐含克制之意，对外声称是为了加倍表示敬意，并且额外赏赐单于许多衣服、锦帛和丝绵。
古代皇帝的后妃家族统称为“外戚”。汉朝的外威势力很大，经常主持朝政。元帝皇后王政君的娘家是魏郡的王氏家族，在西汉后期成为最显贵的外戚世家，先后有九人封侯，五人官至大司马。王氏子弟大多生活奢靡，追逐声色犬马，唯有王政君的侄儿王莽甘于清贫，为人谦逊，好学上进。成帝阳朔三年（前 22 年），王莽正式入仕，礼贤下士，清廉简朴，不断高升。哀帝在位期间，王莽一度退职隐居，等哀帝去世后被姑母王太后任命为大司马，拥立八岁的汉平帝刘?继位，开始总揽政局。
王莽知道王太后长期寡居深官，生活苦闷，便经常安排车驾，奉太后巡游上林苑，春天与贵妇们一起采桑，夏天在御宿苑纳凉，秋天游昆明池，冬天在飞羽宫饮酒，去上兰宫观看射猎。太后大喜，在苑中流连不归，放任王莽擅权。几年后平帝又死，王莽立两岁的孺子婴为太子，自已代摄朝政，两年后正式篡位，建立新朝。
王莽称帝后推行全面改革。他极度推崇儒家礼制，于地皇元年（20 年）下旨拆除上林苑中建章宫、承光宫、储元宫、平乐观、当路观、阳禄观等宫观建筑，取其木材砖瓦，按照理想模式在长安南郊修建新室九庙。王莽有强烈的复古倾向，喜欢更改官名、地名，主管上林苑的水衡都尉一职也被改为“予虞”。
王莽的新政推行极不顺利，激化了社会矛盾，还轻率兴师讨伐匈奴，又赶上自然灾害频发，天下动荡，各地农民纷纷起义。地皇四年（23 年），更始皇帝刘玄率领的绿林军攻入长安，王莽从未央宫前殿西出白虎门，逃到宫西南部沧池边的渐台，据水坚守，遭到四面围攻，其臣属一千多人全部战死，王莽本人也被斩首。《汉书》和《后汉书》对这段史实的记载有些模糊，唐代章怀太子李贤为《后汉书》做注，认为王莽被杀的地方不是未央官的渐台，而是建章宫太液池边的渐台。
两年后赤眉军攻入长安，杀死刘玄，四处抢掠，纵火焚烧。汉朝宗室刘秀于当年（25 年）称帝，之后陆续剪灭群雄，建立东汉王朝。因为关中凋敝，改以洛阳为首都。刘秀部将邓禹、冯异、马援等统兵在长安附近征战，都曾经在上林苑屯扎。
经过几番惨烈的战争洗礼，西汉长安宫殿和上林苑几乎全部被毁，重蹈秦代宫苑的命运，只剩下颓垣断壁，满目苍凉。秦皇汉武的雄图大业和万千宫阙终归尘土，沧海桑田一般的轮回是王朝兴盛与衰亡历程最忠实的写照，背后凝聚了无数人民的血汗和泪水，正所谓“兴，百姓苦；亡，百姓苦”。
故宫博物院藏
东汉初期文学家班固和张衡分别作有《西都赋》和《西京赋》，都用大段文字描述上林苑的旧貌。虽然他们只见到宫观废墟和残山剩水，仍凭借故老的口述和史书的记载，加上自己的想象，用“上林禁苑，跨谷弥阜”“缭垣绵联，四百余里”“盛娱游之壮观，奋泰武乎上圃”等词句勾画出昔日恢宏壮丽的景致。其后两千年间有更多的诗文对上林苑凭吊追忆，同时“上林”“汉苑”“汉宫”也成为经典的园林绘画主题，例如元代李容瑾的《汉苑图》、明代仇英的《上林图》、清代袁耀的《汉宫秋月图》等。
明代仇英绘《上林图》局部，台北故宫博物院藏 
西汉之后，关中上林苑被视为皇家园林的重要典范，历朝御苑屡有以“上林”为名者。东汉初年在洛阳城西北建了一座上林苑，永平十五年（72 年）汉明帝刘庄率车骑在此校猎；南朝刘宋大明三年（459 年），孝武音刘骏在建康（今江苏南京）玄武湖北面建上林苑；唐代对长安西郊的昆明池一带重加修整，仍称上林苑，贞观十八年（644 年）唐太宗李世民曾经在此赐宴雍州父老；明代北京南郊的南海子（南苑）是皇家猎场，以“上林苑”为别名，并设“上林苑监”掌管苑囿事务。但是这些上林苑的规模都远远不及关中上林苑，只能稍具其意而已。很多时候，“上林”或“上苑”也可以用作所有皇家园林的代称，在历代文献中出现的频率极高。
上古、秦汉是中国古典园林史上的开创期，君主所拥有的宫苑成为园林的主流，与后世相比，人工雕琢的痕迹还比较少，空间开阔疏朗，保持较多的自然本色，而且独具一种雄浑质朴的气质和天马行空的想象力。这一阶段的园林内容驳杂，百物俱出，千树竞秀，万兽奔腾，楼观如云，湖池如海，还致力于模拟天象、再造仙境，反映了多重的文化内涵。所有这些特点，在秦汉时期的关中上林苑得到最全面的体现，漫无边际的丘壑河池、崇殿高台、珍稀禽兽、花草竹木共同谱写出一曲园林绝唱，千载之后，仍在天地间悠悠回荡。