时间没过多久，又有司隶校尉，王骏等不服匡衡，他说匡衡的儿子犯了这么大的国法，匡衡怎么还能继续任职呢？因而左思右想便想出了一个办法，劾奏匡衡擅自益取国家的田地，他超越了所封界限，将未封给他部分揽为己有，这是罪不该道，应该罢官定罪。成帝接到这份奏章后派人去调查，确有其事，便只好下令将匡衡免职并贬为庶人，调左将军王商代衡一职拜为丞相。这位王商与王凤弟同名异人，乃是宣帝母舅昌侯王武的儿子，武殁后袭爵。
微行察奢讦诸舅
朝中有一个侍中叫做张放。乃是故富平侯张安世的玄孙，世袭父爵，曾娶许后的妹妹为妻。那个张放的外貌长得很好，成帝便把他调到自己跟前，任命他做了个中郎将，负责监督长乐宫的军事。张放知道成帝的性格喜欢出外行猎郊游。一次正逢无事，他便乘势怂恿，主动做了个向导，引着成帝微行。成帝先叫期门郎在外面等候着，自己穿着轻衣，戴着木帽与张放出宫。乘阵跨快马带同期门郎等往来于市巷东眺西瞩，自在逍遥。从前成帝一出一人都由那王凤管束着，不便轻动，此时王凤已早死，王音但求无过，管什么天子微行！因此成帝感到出外非常畅适，当然不肯罢休。不要说每逢节假日，就是平时一有空也必与那张放同行，迁游都市，远历郊野，斗鸡走狗，随意寻欢，所有甘泉长扬、五祚诸官无不避忌，成帝却诡称自己是为平富侯家人。
鸿嘉元年（前20）丞相张禹老病乞休，用御史大夫薛宣为相封高阳侯。宣历任守令，左冯翊，光禄大夫、少府、御史大夫等职，现在接替相位。御史大夫用了翟方进。到了第二年三月，有飞雉来集庭中，飞绕未央宫，承明殿以及将军、丞相、御史等府，车骑将军王音认为是一种奇特的事情说明“物异”，便上书谏阻成帝微行。成帝游正浓，怎肯中止，仍然照常行动。一日经过一座花园，见花园中有高台耸立，台下有山，好与宫中白虎殿相似了，禁不住惊诧起来，当即指问从吏这是谁家花园，布置得这么美丽，从吏答称是曲阳侯王根的。成帝一听，霎时脸往下沉，大不高兴地说了句回宫。于是不会儿就回到了宫里，立即召车骑将军王音，严词诘责：“我前往成都侯第宅，见他穿城引注入宅中，行船张盖四面帷敝，简直是奢侈到不合臣礼了。今曲阳侯又迭山筑台效仿白虎殿越不尽理了，如此过去成何体统。”说得王音哑口无言，只好免冠下疏谢罪，成帝拂袖入内，王音也只好起身超出。王音立即找到王商、王根，两人亦吓得全身发抖，意欲自加黥劓至太后处谢罪，但黥面劓鼻又觉得耐不住痛，且是大失面子，将来如何见人呀。正在踌躇未完的时候，又有人报道：“周隶校尉及京兆尹并由尚书传诏，质问，责他何从五侯，不知举发，现俱入宫谢罪去了。商与根越加着急。又一会儿又说有人夹入策书付与王音，音展阅一周，见上面写着：“外家日强，宫廷日弱，不得不按律施行，将军可召集列侯先到府舍等候。”王音看完，也觉失色。商与根总是抖个不停。待至朝使去后，还是王音更有主意，叫他发遣使人去入请太后，乞求她去做个圆转。一面邀同王商王根王立同去请罪听候发落。王音应负失职的责任。商、根、立皆跪伏殿下约有一两个时辰。竟由内廷传出诏后，准照议亲条例，赦罪勿诛，四人方叩头谢恩，欢跃而归。不用说也是那太后疼其外戚的结果。
许后无子屡受欺
成帝即位已近廿岁，正是戒色的时候，偏成帝生性好色。在东宫时已经就很喜欢女色，故物选车骑将军恩平侯许嘉的女儿作为太子妃。许女秀外慧中，博通史事，并善书法，又与成帝年纪相当。惹得成帝神动意摇，好像得了仙女一般整日里相亲相爱，相偎相倚，说不尽的恩爱，描不完的温存。元帝令中常侍与黄门郎前去探问两口儿的情意，两个回来报告都说：“小两口欢洽异常。”元帝听了心里感到很是高兴、欣慰，便对左右说：“你们准备来贺喜我了。”果然过了年余许妃生下了一男，朝廷上下祝贺热烈，谁知过了不多久徒落得个一泡幻影转眼成空。到了成帝登台，眼见得这位专宠的许妃应立为后了，可是皇太后王氏却反为许氏生儿不育而不同意，这时除许氏外，后宫也不闻有女生男。于是特传诏旨采选良家女子，入备后宫。诏旨尚未传出，又有武库令杜钦向大将军王凤建议：入告王太后仿古礼，一娶九女，反而弄得那王太后不服人制，而便要拘守汉制不愿法古，搞得王凤也不便固争，故于建始二年（前31）三月还是册立许氏为皇后，成帝专宠如同以前一样。
时间过去又是两年，许后宠尚未衰，但是总不见再生男，只是产了个女儿，又致夭逝。王太后与王凤等屡忧成帝无子，成帝却不以为然，每日还朝只在宫中食宿与许后恩好甚深。虽然如此，许后终究怕成帝把爱情转移到别的妃嫔身上去，因此朝朝献媚，夜夜承欢。
建始四年（前29）十二月朔，日食如钩，夜间又地震起来，未央宫也有摇动。成帝亦为不安，到了第二天一早就下令，举直言敢谏之士来评论天异与时政的关系。杜钦和太常丞谷永同时进奏：“女宠太专有碍朝政。”这分明是指成帝专宠许后，成帝也只好置诸不理。过了两天丞相匡衡规劝成帝，请戒妃匹，成帝深知这也是对准许后而言，所以不听。
接着种种灾异又出现，次年正月豪邑地方落下了陨石四块，肥累落下两块，成帝罢中书官，特置尚书员五人。四月孟夏天突然下起雨雪来，成帝只好又下诏令直言报谏，诸士到白虎殿来发表对策。太常丞谷永说这些异常天变恐怕是朝上外亲撑权，王氏独揽用事所致，惟一班人士都不敢明言指责，不过模模糊糊说了几句笼统的话儿便算塞责。丞谷永就趋炎附势，力为王氏洗刷却把矛头指向许氏，一人带头，群臣俱跟，因把所有的天变异象全部嫁祸到许后身上了。
由于许后一直没有儿子，加上岁月不等人。约莫过了几年，许后颜色已渐衰老，成帝也就不那么宠爱她了。以后的日子里，宫中先后来了班氏、李平，还有张美人，特别还到了赵飞燕和赵合德这对姊妹花，那里拗得过她们了。成帝与赵氏姊妹连夕承欢，她们无缝不钻，无孔不入，到处寻找许后的嫌隙，冷眼讥讽，使得许后艰难度日，只好自悲命薄，暗地伤心。许后有姊名谒，曾为平安侯王章妻，章系宣帝王皇后兄王舜子。她借着空闲时常来宫中与许后相见。许后不免与她谈及心事，鸿嘉二年<；前19>；，谒历替她忧愁，暗中代为巫祝，并设坛祈让。不幸为内侍所发现，报告了赵氏二姊妹。那婕妤赵飞燕正想恃宠夺嫡，得了这个消息，那怎会放过！她立刻告发，竟把咒诅宫廷的罪名坐在了许后身上。并牵连及班婕妤，成帝得知后，也有怒意。再加上王太后主张严办。故立即将许谒拿究，问成死罪，即日加诛。并收回了许后印绶废处昭台宫。班婕妤也自请供奉太后，成帝准如所请，即徙居长乐宫厮混度日。
“不久，又有许后的胞姐许孊为龙额侯韩宝妻，也是因丧夫寡居”。在此事未发生前的早一段时间里就与王太后的甥定陵侯淳于长有勾引，至皇后被废，许谒被杀。许皇后自废至昭台宫再徙居长定宫，整日里寂寞无聊，便产生了再想雨露求为婕妤的思想。因此取出从前积蓄交与孊转送淳于长，要长至成帝前说情力为挽回。长明知此事难成，只是因财眼开，乃想设法诡言，乘着成帝召他而高兴的时候，替她求续立为左皇后，便将许废后的要求答应下来，废后许氏总以为是真，日久盼望总无音讯，到了绶和元年<；前8年>；，许废后便遗人推促，那淳于长却要许废后降尊就婢。许后因有所需求，只好含羞忍气。不料又有人传出消息，竟被王莽得知了，莽忙去向王根报明。王根又告诉王太后，又惹得王太后怒起，要王莽去告诉成帝。成帝心尚爱长，不想治罪，但遣令就国。长吃了一惊，只好准备登程，忽然又来王立长子叫做王融，向他谋求车马，长与融本是中表兄弟。却也应允、并与融谈及许废后事，要他转求乃父，代为说情。还取出许多珍宝送与王融，融得了这么多的好处，便表示一口承允。便把珍宝携回家中去了。向父告之，谁知那王立便想，前时不得辅政疑是由淳于长暗中进谗所导致。这下他竟收许废后了珍宝，忙去成帝前进谗使得成帝也起疑，等王立退出后，即派人查案。结果查出王融私受长贿赂，便要吏拿融下狱，王立才悔恨，怨儿子王融自去惹祸，累及家门。融无词可说，自知闯了大祸，当即服毒自尽。成帝听说王融已死，便派人捕淳于长下狱。一再审讯把长奸淫，贪诈的详情和盘端出。罪坐大逆，垂死狱中。妻子徙移合浦，母归故里。成帝复遣廷尉孔光持鹤至长定宫，赐许孊废后许氏自尽。可怜那许后在位十四年，由于一生无子又听了两个阿姊的邪言而招来一次次的欺凌，最后落得个可悲可悯的下场！
色醉天子心
边疆无掠，四方平靖。成帝乐得赏花醉酒，安享太平！起初许后专宠，惟在中宫取乐，廷臣遇到国家有事都归咎到许后身上，说她恃宠生妒。明明是个不好的人，成帝也说她好，其实是许后方在盛年色艺俱优，故惹得成帝喜欢。至成帝即位十余年，许后年近三十岁，花容渐渐瘦损了，云鬓渐渐地稀落了。成帝素性好色，见她面目已非，自然生厌。于是把爱情转移到了后宫其他妃妾身上去了，当时又特别宠了一个班氏。班系城骄校尉班况之女，生得聪明伶俐，秀色可餐。成帝在一次去上朝时正碰上班氏，很想把她带在一齐游玩，班婕妤却推让说：“妾观古时候的图画至帝贤王出门总是有各大臣配着，没有听说过有妇女同游，只有那将要灭亡的朝代的皇帝才那样昏庸，今天陛下若想与我同游，莫非与那些昏庸的皇帝相似哩！所以我不敢奉这个命！”成帝听后却也称善，不再叫她同游，这事传到王太后耳里，也为心喜，王太后极为称赞说：“古时有樊姬，今有班婕妤！”但班婕妤承宠有年也是不见生育。又有侍女李平年少体端，丰姿卓约，也为成帝所爱，得蒙宠幸，亦封为婕妤，赐姓归卫。此外还有张美人，就是大将军王凤荐进来的。成帝普赐雨露，始终不获得生男，也觉得对着百花索然无味，永始元年（前16）太皇太后王氏殁。
不久，成帝微行近郊，观景赏花，行至其妹阳阿公主家门口停下来，与同宴饮。公主召集歌女数十人，临席有酒。就中有一个女郎歌声娇脆，舞态轻盈。惹出成帝一双色眼，仔细端详，真是个妖冶继伦的，见所未见的美女。待至宴毕起身，立刻就向公主提出要把那歌女带同入宫，公主自然应允。成帝大喜。回至宫中，帝泽如春，妾情如水，芙蓉帐里软摆柔腰，翡翠衾中腾挪玉体，妙在回旋应声纵送任情。直令成帝喜极欲狂，惊为奇遇，欢娱嫌夜短，曙色映眼深，好梦回春，披衣并起露出美人本色，弱么胜娇，溜来秋水微眸，目能传语，成帝越看越爱，越爱越怜，当即亲书拟旨拜为婕妤，要问她的芳名，就是古今闻名的赵飞燕。
相传飞燕原姓冯氏，母亲江东王的孙女。故苏郡主曾嫁中尉赵曼，飞燕母暗地与舍人冯大力子冯万金私通，孪生二女。分娩时不便留养，弃诸郊外，三日不死，方才又把她收回家，取长名宜主，次名合德，几年以后赵曼病逝，二女俱送归冯家。又过了好几年那冯万金又死，冯氏中洛二女，无家可依，流落长安，投入阳阿公主家学习歌舞。宜主身材袅娜，态度蹁跹，时入看她就似燕子，因此，便叫她飞燕。合德肌肤莹泽，出水不濡，与乃姊肥瘠不同，但也是个绝世娇娃，凑成两英。飞燕既入宫专宠，合德尚在阳阿公主家。当时后宫有一女官叫做樊嫕乃是飞燕的中表姊妹，成帝因她是飞燕的亲戚，以另眼相看，即对她也较一般人要好。那攀医就在成帝跟前又把合德的美貌介绍给他。成帝听说以后又忙令舍人吕延福用着石宝凤舆往迎合德。合德却装腔作势说必须得有他姊飞燕的命才敢入宫，延福只好返报成帝。成帝听后料知合德心里想的什么，恐遭姊妒，乃与樊嫕商量好，先赐给飞燕许多珍奇，特腾出一所别宫铺设得非常华丽，名为远条馆，居住飞燕，买动飞燕欢心。然后使樊嫕乘间对飞燕说：“成帝至今尚未生子，想把合德接来为日后计。”飞燕果依了他言，便使宫人召入合德，合德巧为梳襄，打扮得齐齐整整入得朝来。成帝睁开龙目注视着红妆，但见她鬓若层云眉苕远山，脸若朝霞，肌如晚雪，端的是胡天胡帝，差不多疑幻疑仙。待至合俯首下拜，自陈姓氏，只觉得一片莺簧，已把那成帝神魂摄引了去，几不辨何言何语，就是左右侍御，也不禁目荡心迷，失声赞美。只有披香博士淖方成立在成帝后面轻轻唾地道：“这是祸水，将来是定要灭火了！”成帝勉强按神低声呼起，合德方才起来。即由成帝指令宫人拥入后宫，自己亦随之进去。好容易等到天晚，即替合德卸装，轻轻地携入绣帏，着体便酥，胜过重固翟玉，蜀至含苞，渐润快同，灌顶醍醐，比诸乃姊欢，今时更别有一种风味。因赐号为温柔乡尝叹语道：“我当终老是乡，不愿效武帝求白云乡了。”合德入宫数日，也即拜为婕妤，两姊妹轮流侍寝，连反承欢。此外后宫粉黛，俱不值成帝一顾，只好自悲命薄，暗地伤心。而此时的许后与班婕妤的处境就更加艰难了，他们被赵氏姊妹见缝插针，嗣隙进击，一个被废一个移居！
许后既然被废当然轮着赵飞燕入主东宫，成帝就想选好日子，马上册立，偏王太后说她出身微贱，不合为后。成帝不敢擅行，只得寻得一个说客，先向太后前讨情。可巧有个卫尉淳于长乃是太后姊的儿子，又生成一张利嘴，正好胜任此任。果然通过数次在太后跟前左右说法，后得蒙太后允许。乃改鸿嘉五年为永始元年，先封飞燕义父赵临为成阳侯，褒示恩宠，然后册后。赵临东阳阿公主家令。飞燕入公主家前，曾因赵临同姓拜为义父。所以无功受赏。
至此，赵飞燕为皇后，赵合德为昭仪，一对姊妹花同时并宠。朝拥夜偎，风流天子如醉如痴，尝尽温柔滋味，快乐何如！成帝特命在太液池中造一大舟，自挚飞燕登舟游咏，嘱令歌舞。又叫侍郎冯无方，又吹笙又亲执文犀，替轻击玉杯，作为节奏，舟至中流，大风忽至。吹得飞燕裙带飘扬，险些儿将身飞去。成帝急令冯无方救护飞燕，无方将笙放下，两手握住飞燕双履，飞燕本爱冯无方，由他紧握索性凌风狂舞，且舞且歌，一会儿风势稍定，舞亦渐停。后人说：飞燕能作掌上舞便是出此。舞罢兴阑，回头拢岸。成帝与飞燕携手入宫，厚赐冯无方金帛，并许他出入东宫，取悦飞燕。
