上林苑工程正在进行之时，秦始皇暴卒，随行的次子胡亥和中车府令赵高、丞相李斯合谋，秘不发丧，伪造诏令，立胡亥为太子，又传书塞外，赐长子扶苏和将军蒙恬自杀。回到咸阳后，胡亥即位，称“二世皇帝”，赵高任郎中令，执掌朝廷大权。经过朝堂商议，决定按照天子礼仪修建七座宗庙，奉祀大秦的列祖列宗，将秦始皇的牌位供在始祖庙中。
此时阿房殿刚刚开始建造不久，骊山陵也尚未完工。胡亥下令先把阿房殿工地上的劳工全部调往骊山，加紧修造皇陵。巨型人工土堆下暗藏着庞大的地下墓室，其中塑造四海五岳的地形，顶部绘有天象图，俨然宇宙的缩影。骊山陵全部完成后，胡亥令后宫所有无子的嫔妃一律殉葬，又紧闭墓室外门，将参与工程的匠人全部封死在里面，以免泄露宝藏的讯息。
第二年春天，胡亥效仿父皇外出巡游，力图显示自己的威仪。为稳定政局，他与赵高暗中谋划，沿途连续下诏，在咸阳闹市一次就处死了十二个兄弟，之后又杀多位皇子和公主，还诛杀了一批大臣。当年四月，胡亥返回咸阳，以完成先皇遗愿的名义，重新集聚工匠，继续建造阿房殿，同时重修通往咸阳官的驰道。
秦始皇多年来耗费巨资兴建宫苑以及各种宏大工程，横征暴敛，搜刮天下财富，早已弄得民不聊生，百业凋零。胡亥虽无父亲的胸襟才略，却是一样的残暴贪酷，对于苑囿之乐更为热衷。他对赵高说，人的一生很短促，自己身为皇帝，只想尽情享受。此话正合赵高的心意，加倍奉承。
胡亥经常去上林苑游猎，射禽兽射腻了，改为射杀行人取乐。这样的暴行连赵高都看不下去，进谏说天子无故滥杀，上天会降罪，应该退居离官以求免灾。胡亥很惊恐，赶紧搬进望夷宫。为了加强防卫，胡亥调发五万士卒守御咸阳地区，下令各地向首都运送更多的粮草。阿房殿工程如火如荼，人力不足，费用剧增，朝廷又进一步加派徭役赋税。民间的忍耐终于超出极限，怒火像火山岩浆一样迅猛爆发。
公元前 209 年，来自楚地的戍卒陈胜、吴广在大泽乡（今安徽宿州西南）首先率众起义，各地烽烟蔓延，豪杰并起，天下大乱。消息传到咸阳，胡亥毫无收敛的意思，反而责备丞相李斯无能。李斯为了自保，只好继续苟且逢迎。胡亥派出更多官吏搜捕敢于反抗的人，征收更多的税款，结果路上的行人常常有一半是正在服刑的囚徒，每天各地街市上都堆积着许多刚被处决的罪犯尸体。
赵高劝胡亥像秦始皇一样深居后宫，不再接见大臣，由自己处理一切公务。又故意引诱李斯上书，建议皇帝暂停阿房殿工程，节约开支，减少酷烈的刑法和繁苛的税收。胡亥大怒，将李斯下狱治罪，次年七月以最残忍的“五刑”处死，夷灭三族。
虽然秦将章邯等人奋勇拼杀，屡次击败义军，可天下的局势已经完全不可收拾。楚将项羽在巨鹿大败秦军，坑杀二十万降卒。秦二世三年（前 207 年）八月，赵高派心腹闯入望夷官，逼迫胡亥自杀，夺取玉玺，将胡亥的遗体按照普通百姓的规格葬在宜春苑中。
赵高准备篡位，却发现每次上殿，大殿都会晃动，文武百官也无人追随，觉得是上天不愿让他当皇帝，就扶持胡亥幸存的弟弟子婴继位。子婴与宦官韩谈暗中筹划，杀了赵高。刘邦率领另一支军队于当年八月绕道武关，十月攻入咸阳。刚刚继位两个多月的子婴出降，秦朝灭亡。
项羽随后入关，杀子婴，广罗金银珠宝和美女，在回江东故乡之前下令放火焚烧秦朝宫苑，大火三月不灭。包含咸阳宫和上林苑在内，数百里范围内无数的殿堂楼台化作灰烬，秦人在关中经营几百年的基业至此全部毁于一旦。只有那座横桥幸存到东汉末年，才被董卓焚毁。
直到秦朝彻底覆灭为止，阿房殿并没有真正建成，但名气太大，因此后世常常将上林苑乃至关中平原所有秦代宫苑统称为“阿房宫”，并视之为秦代暴政的象征。清代画家袁江绘有一幅由十二条屏组成的《阿房宫图》，在群山之间穿插大量的重楼复阁，虽然完全是晚期建筑和园林的形象，却也颜有几分当年秦代宫苑的气魄。
历代凭吊阿房官的文字多不胜数，最著名的是唐朝杜牧的《阿房宫赋》，以绚丽的词句描绘当年宫苑的煊赫盛况：“五步一楼，十步一阁。廊腰缦回，檐牙高啄。各抱地势，钩心斗角。…长桥卧波，未云何龙？复道行空，不霁何虹？高低冥迷，不知西东。歌台暖响，春光融融。舞殿冷袖，风雨凄凄。一日之内，一官之间，而气候不齐。”最后感慨“楚人一炬，可怜焦土”，空留千古遗恨。
铁骑惊风
刘邦被西楚霸王项羽封为汉王，以汉中和巴蜀地区的四十一县为领地。公元前 206 年，刘邦拜韩信为大将，明修栈道，暗度陈仓，挥师北上，占领关中地区。随后东出崤山与项羽争霸天下。经过艰苦奋战，最终于前 202 年在垓下（今安徽灵壁县南）彻底击败楚军，正式建立西汉王朝。
由于秦代都城咸阳已被焚毁，刘邦便在渭水南岸原兴乐宫的旧址上建造新的首都长安。长安城中坐落着未央官、长乐宫、北宫、桂宫和明光宫五大宫殿，开辟八街九市，格局比较紧凑，远非咸阳那样松散。诸宫内部以殿堂庭院为主也点缀了若干楼台、花木、池沼，比如未央宫中有一座完全用香柏木修造而成的柏梁台，其西南部辟有沧池。
经过秦末战火摧残，汉朝初立时上林苑已经基本荒芜，为安抚百姓，休养生息，汉高祖刘邦接受相国萧何的建议下诏将苑中大部分空地分给农民耕种，只留下少部分林田作为皇家猎场。汉文帝刘恒和景帝刘启统治时期，实行轻徭薄赋的政策，鼓励农桑，经济大有发展，史称“文景之治”。这两位皇帝都经常在上林苑射猎，诸侯入朝觐见时，往往也一同入苑游猎。
文帝崇尚俭朴，在位二十三年，宫室苑囿几乎没有任何扩建。他曾经想造一座露台，召工匠计算了一下，需要花费百金，相当于十户中等人家的资产，觉得太过靡费，当即中止了这项计划。上林苑中设有虎圈，文帝某天亲自造访，就豢养禽兽的事情询问主管官员上林尉十几个问题，上林尉环顾左右回答不出，旁边一位负责看守虎圈的农夫却对答如流。文帝想封农夫为上林令，谒者仆射张释之阻止说，希望陛下不要因为口齿伶俐就越级提拔官吏，以免倡导浮华不实的风气。
景帝对于宫苑的兴趣要比文帝大得多，曾经以养马为借口扩建苑囿。他有一次带着妃子贾姬一起在上林苑游玩，贾姬临时上厕所，突然一只野猪闯了进去。景帝手持兵器想去救援，被随行的中郎将郅都拦住，说陛下千万不要为了一个女人而自轻犯险。幸亏野猪没有伤害贾姬就跑开了。景帝的母亲窦太后知道这事后，重赏环郅都。