霍光字子孟，票騎將軍去病弟也。父中孺，河東平陽人也，以縣吏給事平陽侯家，與侍者衛少皃私通而生去病。中孺吏畢歸家，娶婦生光，因絕不相聞。久之，少皃女弟子夫得幸於武帝，立為皇後，去病以皇後姊子貴幸。既壯大，乃自知父為霍中孺，未及求問。會為票騎將軍擊匈奴，道出河東，河東太守郊迎，負弩矢先驅，至平陽傳舍，遣吏迎霍中孺。中孺趨入拜謁，將軍迎拜，因跪曰：“去病不早自知為大人遺體也。”中孺扶報叩頭，曰：“老臣得托命將軍，此天力也。”去病大為中孺買田宅、奴婢而去。還，複過焉，乃將光西至長安，時年十餘歲，任光為郎，稍遷諸曹、侍中。去病死後，光為奉車都尉、光祿大夫，出則奉車，入侍左右，出入禁闥二十餘年，小心謹慎，未嚐有過，甚見親信。
霍光字子孟，是驃騎將軍霍去病的弟弟。他的父親中孺，是河東平陽人，以縣吏的身份在平陽侯家供事，同侍女衛少兒私通而生下霍去病。中孺差事完成後回到家中又娶妻生下霍光，與衛少兒斷了關係不通音信。過了一段時間，少兒的妹妹子夫得寵於漢武帝，被立為皇後，霍去病由於是皇後姐姐的兒子而地位尊貴並受到皇帝的寵幸。霍去病長大成人後，才知道自己的父親是霍中孺，但一直未來得及探訪。恰好霍去病被封為驃騎將軍去攻打匈奴，路過河東，河東太守到城郊去迎接，背著弓箭在前麵帶路，到平陽侯家裹的接待處休息。霍去病就派小吏去請霍中孺來相見。中孺急忙趕來很恭敬地晉見，霍去病上前迎接揖拜，跪下說：“去病早先不知道自己是您的骨肉。”中孺伏地叩頭說：“老臣能把命運寄托給將軍，這是上天所助啊。”去病為中孺買了大量的田地、房宅、奴婢後離開。還軍的時候，霍去病又經過河東，於是就把霍光帶到了長安，當時霍光才十幾歲，就任命霍光為郎，不久就遷升為諸曹侍中。去病死後，霍光被封為奉車都尉光祿大夫，皇帝出行則以奉車身份隨駕，在宮內就侍奉左右，進出禁宮有二十多年，一直小心謹慎，未曾有遇差錯，很受皇帝的親近信賴。
征和二年，衛太子為江充所敗，而燕王旦、廣陵王胥皆多過失。是時，上年老，寵姬鉤弋趙婕妤有男，上心欲以為嗣，命大臣輔之。察群臣唯光任大重，可屬社稷。上乃使黃門畫者畫周公負成王朝諸侯以賜光。後元二年春，上遊五柞宮，病篤，光涕泣問曰：“如有不諱，誰當嗣者？”上曰：“君未諭前畫意邪？立少子，君行周公之事。”光頓首讓曰：“臣不如金日磾。”日磾亦曰：“臣外國人，不如光。”上以光為大司馬大將軍，日磾為車騎將軍，及太仆上官桀為左將軍，搜粟都尉桑弘羊為禦史大夫，皆拜臥內床下，受遺詔輔少主。明日，武帝崩，太子襲尊號，是為孝昭皇帝。帝年八歲，政事一決於光。
征和二年，衛太子被江充陷害所敗，燕王劉旦、廣陵王劉胥又都有很多過失。這時候皇上年老，寵姬鉤弋趟侄伃生了一個男孩，皇上心中打算把皇位傳給他，並命大臣來輔佐他。皇上觀察群臣中衹有霍光才可擔當重任，輔助社稷。皇上於是就叫宮廷畫師畫了一張周公背著成王接受諸侯朝賀的畫賜給霍光。後元二年的春天，皇上出遊五柞宮，病得很厲害，霍光流淚問道：“如果皇上有不測，那當由誰來繼位？”皇上說道：“難道您還不明白上次送給您的畫的意思嗎？立少子為帝，您當照周公輔佐成王那樣行事。”霍光叩頭，謙讓說：“我比不上金日磾。”金日磾也說：“我是外國人，不如霍光。”皇上於是就任命霍光為大司馬大將軍，金日磾為車騎將軍，以及太仆上官桀為左將軍，搜粟都尉桑弘羊為禦史大夫。他們都在天子臥室內的床前叩拜受職，接受遣詔輔佐年幼的君主。第二天，武帝駕崩，太子承襲皇位，稱為孝昭皇帝。皇帝年僅八歲，政事全由霍光來決定。
先是，後元元年，侍中仆射莽何羅與弟重合侯通謀為逆，時，光與金日磾、上官桀等共誅之，功未錄。武帝病，封璽書曰：“帝崩發書以從事。”遺詔封金日磾為秺侯，上官桀為安陽侯，光為博陸侯，皆以前捕反者功封。時，衛尉王莽子男忽侍中，揚語曰：“帝崩，忽常在左右，安得遺詔封三子事！群兒自相貴耳。”光聞之，切讓王莽，莽鴆殺忽。
在這以前，後元年時，侍中仆射莽何羅同他的弟弟重合侯莽通合謀反叛，當時霍光同金日磾、上官桀等人一起誅殺了這些叛逆，其功沒有被記錄頒賞。武帝病後，密封璽書說：“我死以後打開璽書遵照從事。”遣詔封金日磾為詫侯，上官桀為安陽侯，霍光為博陸侯，都是按照以前捕殺叛逆的功勞來分封的。當時衛尉王莽的兒子王忽為侍中，在外麵揚言道：“帝崩的時候，我經常在他的身邊，哪裹會有遣韶封他們的事！這幫人是在自己抬高自己。”霍光聽到這些話後，嚴厲責備王莽，王莽用毒酒殺死了王忽。
光為人沉靜詳審，長財七尺三寸，白皙，疏眉目，美須髯。每出入下殿門，止進有常處，郎仆射竊識視之，不失尺寸，其資性端正如此。初輔幼主，政自己出，天下想聞其風采。殿中嚐有怪，一夜群臣相驚，光召尚符璽郎，郎不肯授光。光欲奪之，郎按劍曰：“臣頭可得，璽不可得也！”光甚誼之。明日，詔增此郎秩二等。眾庶莫不多光。
霍光性格沉靜，思慮周到，身高衹有七尺三寸，皮膚白皙，疏眉朗目，須髯很美。每當他出入殿門的時候，前進、停止的時候都有固定的位置。郎仆射暗中做記號來觀察，發現不差分毫，他的資質就像這樣端正。霍光輔佐幼主的時候，政令由自己發布，天下人都仰慕他的風采。宮殿中曾經有過鬼怪之事，整夜群臣都很驚慌，霍光召見掌管符璽的郎官，郎官不肯把璽給霍光。霍光想奪取符璽，郎官按劍說道：“我的頭可以得到，但璽卻不可為你所得！”霍光很敬佩郎官的行為。第二天，就下韶把這個郎官的官秩升了兩級。眾人沒有不讚許霍光的這種行為的。
光與左將軍桀結婚相親，光長女為桀子安妻。有女年與帝相配，桀因帝姊鄂邑蓋主內安女後宮為婕妤，數月立為皇後。父安為票騎將軍，封桑樂侯。光時休沐出，桀輒入代光決事。桀父子既尊盛，而德長公主。公主內行不修，近幸河間丁外人。桀、安欲為外人求封，幸依國家故事以列侯尚公主者，光不許。又為外人求光祿大夫，欲令得召見，又不許。長主大以是怨光。而桀、安數為外人求官爵弗能得，亦慚。自先帝時，桀已為九卿，位在光右。及父子並為將軍，有椒房中宮之重，皇後親安女，光乃其外祖，而顧專製朝事，繇是與光爭權。
霍光與左將軍上官桀是兒女親家，關係親密，霍光的大女兒嫁給上官桀的兒子上官安為妻。上官安有個女兒年齡同昭帝相當，上官桀就通過！眯的姐姐鄂邑蓋主把上宣室的女兒納進後宮當婕妤，幾個月後就被立為皇後。皇後的父親上宣晝就被任命為驃騎將軍，封為桑樂侯。霍光有時休假出宮，上官桀就進宮代替霍光處理政事。上官桀父子位尊勢盛之後，很感激長公。長公主沒有操行，親近寵幸河問的丁外人。上官繼、上官安打算替丁外人請求封侯，希望按照國家以前衹有列侯與公主配婚的慣例封侯，但霍光沒有同意。他們又為丁外人求取光祿大夫之職，以期得到昭帝的召見，再次被霍光拒絕。長公主因此就對霍光非常怨恨。而上官桀、上官安因為幾次為丁外人求取官爵沒有成功，也感到很慚愧。在漢武帝的時候，上官桀已在九卿之列，官位在霍光之上，等到上官父子同為將軍的時候，又有了宮中皇後的重要關係，皇後是上官安的親生女兒，霍光衹不過是她的外祖父，卻反而獨自專攬朝政，上官父子因此就與霍光爭奪權力。
燕王旦自以昭帝兄，常懷怨望。及禦史大夫桑弘羊建造酒榷、鹽鐵，為國興利，伐其功，欲為子弟得官，亦怨恨光。於是蓋主、上官桀、安及弘羊皆與燕王旦通謀，詐令人為燕王上書，言：“光出都肄郎羽林，道上稱蹕，太官先置。”又引：“蘇武前使匈奴，拘留二十年不降，還乃為典屬國，而大將軍長史敞亡功為搜粟都尉，又擅調益莫府校尉。光專權自恣，疑有非常。臣旦願歸符璽，入宿衛，察奸臣變。”候司光出沐日奏之。桀欲從中下其事，桑弘羊當與諸大臣共執退光。書奏，帝不肯下。
燕王劉旦自以為是昭帝的哥哥，卻沒有繼承帝位，就常抱有怨恨之心。還有禦史大夫桑弘羊建議設立酒類專賣、鹽鐵官營的製度，為國家增加了財富，桑弘羊便居功自傲，打算為自己的子弟謀得官職，沒有如願，因此也怨恨霍光。於是鄂邑蓋主、上官桀、上官安以及桑弘羊這些人就與燕王劉旦一同設謀，假裝讓人替燕王來上書，說：“霍光出城演練郎官、羽林，行進在路上像皇帝出行那樣設置威儀，而且還讓太官提前準備飯菜。還有蘇武以前出使匈奴，被拘留二十年沒有投降，回來後衹當了典屬國，而大將軍的長史楊敞沒有功勞，卻當了搜粟都尉。霍光又擅自調入來增加自己幕府的校尉。霍光專權放肆，恐怕他有不良的企圖。臣劉旦願交還燕王的符節璽印，入朝值宿守衛，審察奸臣的陰謀。”等霍光出宮休假的時候乘機上奏了此書。上官桀打算從宮內直接發下其事，桑弘羊就和其他大臣一起將霍光拘捕並解除他的職務。奏書交上去後，昭帝留住奏書不肯頒下。
明旦，光聞之，止畫室中不入。上問：“大將軍安在？”左將軍桀時曰：“以燕王告其罪，故不敢入。”有詔召大將軍。光入，免冠頓首謝，上曰：“將軍冠。朕知是書詐也，將軍亡罪。”光曰：“陛下何以知之？”上曰：“將軍之廣明都郎，屬耳；調校尉以來未能十日，燕王何以得知之？且將軍為非，不須校尉。”是時，帝年十四，尚書左右皆驚，而上書者果亡，捕之甚急，桀等懼，白上小事不足遂，上不聽。
第二天早晨，霍光聽說了這件事，就留在殿前的畫室中沒有進去朝拜。皇上問道“大將軍在哪裹？”左將軍上官桀回答說：“因為燕王告發他的罪行，所以不敢進來。”皇上就下詔召見大將軍。霍光進來後，取下官帽，叩頭謝罪，皇上說：“將軍請戴上帽子，朕知道這封奏書是假的，將軍沒有罪過。”霍光問道：“陛下憑什麼知道我沒有罪呢？”皇上說道：“將軍到廣明，演習郎官衹是近來的事，調選校尉到現在也不過十天，燕王是怎麼知道這些事的？況且將軍要做非法的事，也不需要校尉的。”這時候昭帝年僅十四歲，尚書以及左右的大臣都很吃驚，而呈送書信的人果然逃走了，官府開始緊急搜捕。上官桀等人感到害怕了，就對皇上說這衹是一件小事，不值得窮追究竟，皇上沒有聽從。
後桀黨有譖光者，上輒怒曰：“大將軍忠臣，先帝所屬以輔朕身，敢有毀者坐之。”自是桀等不敢複言，乃謀令長公主置酒請光，伏兵格殺之，因廢帝，迎立燕王為天子。事發覺，光盡誅桀、安、弘羊、外人宗族。燕王、蓋主皆自殺。光威震海內。昭帝既冠，遂委任光，訖十三年，百姓充實，四夷賓服。
後來上官桀的黨羽凡有說霍光的壞話的，昭帝就發怒道：“大將軍是忠臣，先帝所托付來輔佐朕的，敢有誹謗他的人就判他的罪。”從這以後，上官桀等人就不敢再說壞話了，他們就密謀讓長公主擺酒席請霍光赴宴，準備埋伏士兵擊殺他，乘機再廢除昭帝，迎立燕王為天子。事情被發覺，霍光就將上官桀、上官安、桑弘羊、丁外人等人及家族全都誅殺了。燕王、蓋主也都自殺。霍光的威勢震動全國。昭帝成年後，就正式委任霍光執政，到昭帝十三年，百姓生活充裕厚實，四方的各少數民族都稱臣歸服。
元平元年，昭帝崩，亡嗣。武帝六男獨有廣陵王胥在，群臣議所立，鹹特廣陵王。王本以行失道，先帝所不用。光內不自安。郎有上書言：“周太王廢太伯立王季，文王舍伯邑考立武王，唯在所宜，雖廢長立少可也。廣陵王不可以承宗廟。”言合光意。光以其書視丞相敞等，擢郎為九江太守，即日承皇太後詔，遣行大鴻臚事少府樂成、宗正德、光祿大夫吉、中郎將利漢迎昌邑王賀。
元平元年，昭帝駕崩，沒有繼承人。漢武帝六個兒子中獨有廣陵王劉胥還活著。各位大臣商議所要立的人選，大家都主張立廣陵王。廣陵王本來因為行為有失道德，沒有被先帝選用。霍光內心自感不安。有郎官上書說：“周太王廢掉太伯而立王季，文王舍棄伯邑考而立武王，衹要對國家有利，即使是廢黜長子而立少子也是可以的。廣陵王是不可以繼承宗廟社稷的。”所說的正好同霍光心意相合。霍光就把這份奏書給丞相楊敞等人看，並且把這個郎官提升為九江太守，當天就奉皇太後的詔令，派遣代理大鴻臚事務的少府樂成、宗正劉德、光祿大夫丙吉、中郎將利漢去迎接昌邑王劉賀。
賀者，武帝孫，昌邑哀王子也。既至，即位，行淫亂。光憂懣，獨以問所親故吏大司農田延年。延年曰：“將軍為國柱石，審此人不可，何不建白太後，更選賢而立之？”光曰：“今欲如是，於古嚐有此不？”延年曰：“伊尹相殷，廢太甲以安宗廟，後世稱其忠。將軍若能行此，亦漢之伊尹也。”光乃引延年給事中，陰與車騎將軍張安世圖計，遂召丞相、禦史、將軍、列侯、中二千石、大夫、博士會議未央宮。光曰：“昌邑王行昏亂，恐危社稷，如何？”群臣皆驚鄂失色，莫敢發言，但唯唯而已。田延年前，離席按劍，曰：“先帝屬將軍以幼孤，寄將軍以天下，以將軍忠賢能安劉氏也。今群下鼎沸，社稷將傾，且漢之傳諡常為孝者，以長有天下，令宗廟血食也。如令漢家絕祀，將軍雖死，何麵目見先帝於地下乎？今日之議，不得旋踵。群臣後應者，臣請劍斬之。”光謝曰：“九卿責光是也。天下匈匈不安，光當受難。”於是議者皆叩頭，曰：“萬姓之命在於將軍，唯大將軍令。”
劉賀是漠武帝的孫子，昌邑哀王的兒子。他到宮中後，登上帝位，不久就行為淫亂。霍光憂慮氣憤，獨自以此事去問親信的舊臣大司農田延年。田延年說：“將軍作為國家的柱石，既然發覺這個人不可委以社稷，為什麼不向太後建議稟報，另外選一個賢能之人立他為帝呢？”霍光說道：“我也想這麼辦，不知在古代有沒有這樣的先例？”田延年答道：“伊尹任殷朝丞相的時候，就廢黜了太甲用來安定國家，後代的人都稱讚他的忠誠。將軍如果也能這樣做，就是漢朝的伊尹了。”霍光就把田延年引薦為給事中，暗中同車騎將軍張安世謀劃，於是就在未央宮召集丞相、禦史、將軍、列侯、中二千石、大夫、博士等一同商議。霍光說道：“昌邑王行為昏聵淫亂，恐怕會危及國家，你們看怎麼辦？”眾大臣大驚失色，不敢發言，衹是唯唯諾諾而已。田延年離開座席走上前來，手按住長劍說道：“先帝把年幼的孤兒托給將軍，把天下交付給將軍，是因為將軍忠誠賢能，能夠穩固劉氏的天下。如今群臣百姓鼎沸，國家將要傾覆。而且漢朝皇帝相傳的謐號常用“孝”字，是為了長久地擁有天下，讓宗廟永久享受祭祀。如今漢家將要斷絕香火，將軍即使以死謝罪，又有什麼臉麵到九泉之下去見先帝呢？今天的議事，應當即刻解決。群臣中如果有拖延回答的，臣下請求用這把劍斬了他。”霍光告罪說：“九卿責備我是對的。天下騷動不安，我應當受到責罰。”於是參加議事的大臣都叩頭說道：“萬民的性命都係在將軍一人的身上，我們願聽將軍的指示。”
光即與群臣俱見白太後，具陳昌邑王不可以承宗廟狀。皇太後乃車駕幸未央承明殿，詔諸禁門毋內昌邑群臣。王入朝太後還，乘輦欲歸溫室，中黃門宦者各持門扇，王入，門閉，昌邑群臣不得入。王曰：“何為？”大將軍跪曰：“有皇太後詔，毋內昌邑群臣。”王曰：“徐之，何乃驚人如是！”光使盡驅出昌邑群臣，置金馬門外。車騎將軍安世將羽林騎收縛二百餘人，皆送廷尉詔獄。令故昭帝侍中中臣侍守王。光敕左右：“謹宿衛，卒有物故自裁，令我負天下，有殺主名。”王尚未自知當廢，謂左右：“我故群臣從官安得罪，而大將軍盡係之乎？”頃之，有太後詔召王，王聞召，意恐，乃曰：“我安得罪而召我哉！”太後被珠襦，盛服坐武帳中，侍禦數百人皆持兵，其門武士陛戟，陳列殿下。群臣以次上殿，召昌邑王伏前聽詔。光與群臣連名奏王，尚書令讀奏曰：
霍光立刻同群臣一起謁見稟告太後，詳細陳述昌邑王不能繼承皇位的情況。皇太後於是乘車來到未央承明殿，詔令各個宮禁門衛不要放昌邑王的群臣進宮。昌邑王進宮朝見太後返回，準備坐輦車回到溫室，宮中的黃門宦官各自手持門扇，等昌邑王進去後，就把宮門關上，昌邑王的群臣就進不來了。昌邑王問道：“這是幹什麼？”大將軍跪下說：“皇太後有詔令，不讓昌邑王的群臣進來。”昌邑王說：“慢點來，為什麼要弄得這麼嚇人！”霍光派人將昌邑王的群臣全部驅逐出宮，集中在金馬門外。車騎將軍張安世率領羽林騎士拘捕捆綁了二百多人，都交給廷尉關在詔令所規定的監獄內。並命令原昭帝的侍中、中常侍看守昌邑王。霍光告誡他們說：“你們要小心值班守衛，昌邑王如果突然死了或自殺，就會讓我對不起天下人，背上殺害君王的罪名。”昌邑王這時還不知道自己要被罷黜，對身邊的人說：“我原來的群臣隨員有什麼罪，而大將軍全把他們關押起來了。”不久，太後下詔召見昌邑王。昌邑王聽到要召見自己，心中開始害怕起來，於是說：“我犯了什麼罪要召見我廠太後披著珍珠綴成的短襖，穿著盛裝坐在布置兵器的帷帳中，幾百名宮廷衛士都拿著武器，期門武士持戟守衛台階，他們都排列在殿下。群臣按順序走進殿來，叫昌邑王伏在前麵聽詔令。霍光同各位大臣一起聯名奏劾昌邑王，尚書令宣讀奏章道：
丞相臣敞、大司馬大將軍臣光、車騎將軍臣安世、度遼將軍臣明友、前將軍臣增、後將軍臣充國、禦史大夫臣誼、宜春侯臣譚、當塗侯臣聖、隨桃侯臣昌樂、杜侯臣屠耆堂、太仆臣延年，太常臣昌、大司農臣延年、宗正臣德、少府臣樂成、廷尉臣光，執金吾臣延壽、大鴻臚臣賢、左馮翊臣廣明、右扶風臣德、長信少府臣嘉、典屬國臣武、京輔都尉臣廣漢、司隸校尉臣辟兵、諸吏文學光祿大夫臣遷、臣畸、臣吉、臣賜、臣管、臣勝、臣梁、臣長幸、臣夏侯勝、太中大夫臣德、臣卬昧死言皇太後陛下：臣敞等頓首死罪。天子所以永保宗廟總一海內者，以慈孝、禮誼、賞罰為本。孝昭皇帝早棄天下，亡嗣，臣敞等議，禮曰“為人後者為之子也”，昌邑王宜嗣後，遣宗正、大鴻臚、光祿大夫奉節使征昌邑王典喪。服斬縗，亡悲哀之心，廢禮誼，居道上不素食，使從官略女子載衣車，內所居傳舍。始至謁見，立為皇太子，常私買雞豚以食。受皇帝信璽、行璽大行前，就次發璽不封。從官更持節，引內昌邑從官騶宰官奴二百餘人，常與居禁闥內敖戲。自之符璽取節十六，朝暮臨，令從官更持節從。為書曰：“皇帝問侍中君卿：使中禦府令高昌奉黃金千斤，賜君卿取十妻。”大行在前殿，發樂府樂器，引內昌邑樂人，擊鼓歌吹作俳倡。會下還，上前殿，擊鍾磬，召內泰壹宗廟樂人輦道牟首，鼓吹歌舞，悉奏眾樂。發長安廚三太牢具祠閣室中，祀已，與從官飲啖。駕法駕，皮軒鸞旗，驅馳北官、桂宮，弄彘鬥虎。召皇太後禦小馬車，使官奴騎乘，遊戲掖庭中。與孝昭皇帝宮人蒙等淫亂，詔掖庭令敢泄言要斬。
臣丞相楊敞、臣大司馬大將軍霍光、臣車騎將軍張安世、臣度遼將軍範明友、臣前將軍韓增、臣後將軍趟充國、臣禦史大夫蔡誼、臣宜春侯王譚、臣當塗侯魏聖、臣隨桃侯趟昌樂、臣杜侯複陸屠耆堂、臣太仆杜延年、臣太常蘇昌、臣大司農田延年、臣宗正劉德、臣少府史樂成、臣廷尉李光、臣執金吾李延壽、臣大鴻臚韋賢、臣左馮翊田廣明、臣右扶風周德、臣長信少府傅嘉、臣典屬國蘇武、臣京輔都尉趙廣漢、臣司隸校尉辟兵、臣諸吏文學光祿大夫王遷、臣宋畸、臣丙吉、臣賜、臣管、臣勝、臣梁、臣長幸、臣夏侯勝、臣太中大夫德、臣趟印冒死罪稟告皇太後陛下：臣楊敞等人頓首死罪。天子之所以能夠長久保持宗廟並擁有天下，是因為他能夠以慈孝、禮義、賞罰分明作為根本。孝昭皇帝由於遇早地離開人間，沒有繼承人，臣楊敞等人商議，根據禮所說的“做某人的繼承人的人就是他的兒子”，昌邑王適於做繼承人，於是便派遣宗正、大鴻臚、光祿大夫等官員奉持符節出使征召昌邑王來主持昭帝的喪事。昌邑王穿上喪服後，卻沒有悲哀的意思，而且還棄禮義於不顧，在路上不吃素食，派遣隨從官吏搶掠女人，用遮蔽的車子把她們弄到他所住的驛館。從剛開始到達京城謁見太後被立為皇太子起，就經常私下買雞、豬來吃。在昭帝靈柩前接受信璽、行璽後，就在居喪的地方打開璽印不再封上。隨從的官員又拿著符節，帶領呂邑王的從宮、馬官、官奴二百多人進宮，經常與他們在禁宮中玩耍遊戲。親自到保管符璽的地方取走十六根符節，早晚去靈柩前哭祭時，讓隨從的官員輪換著拿著符節跟著。還寫信說：“皇帝問候侍中君卿：派中禦府的長官高昌送去黃金一千斤，賜給君卿娶十個妻子。”孝昭皇帝的靈柩還停放在前殿，便叫人取出樂府的樂器，把昌邑國的樂人引進宮來，擊鼓歌唱、吹奏樂器，扮演戲子。等到靈柩下葬返回，就到前殿去敲打鍾磬，還把泰壹宗廟的樂人沿著輦道引到牟首，擊鼓吹奏，載歌載舞，演奏各種音樂。從長安廚取出三副太牢供品，陳放在閣室中進行祭祀，祭祀完畢，就同隨從的官員大吃大喝。駕著皇帝出行時專用的車馬，車上蒙著虎皮，插著鸞旗，驅車跑到北宮、桂宮，追野豬，鬥老虎。又召來皇太後用的小馬車，叫官奴騎乘，在嬪妃居住的掖庭中嬉笑娛樂。還同孝昭皇帝的宮人蒙等行淫亂之事，下詔對掖庭令說，有敢泄露外傳的人就要處以腰斬之刑。
太後曰：“止！為人臣子當悖亂如是邪！”王離席伏。尚書令複讀曰：
太後說：“停一下！為人臣子怎麼能這樣糊塗放肆呢！”昌邑王離開席位伏在地上。尚書令又讀道：
取諸侯王、列侯、二千石綬及墨緩、黃綬以並佩昌邑郎官者免奴。變易節上黃旄以赤。發禦府金錢、刀劍、玉器、采繒、賞賜所與遊戲者。與從官官奴夜飲，湛沔於酒。詔太官上乘輿食如故。食監奏未釋服未可禦故食，複詔太官趣具，無關食鹽。太官不敢具，即使從官出買雞豚，詔殿門內，以為常。獨夜設九賓溫室，延見姊夫昌邑關內侯。祖宗廟祠未舉，為璽書使使者持節，以三太牢祠昌邑哀王園廟，稱嗣子皇帝。受璽以來二十七日，使者旁午，持節詔諸官署征發，凡一千一百二十七事。文學、光祿大夫夏侯勝等及侍中傅嘉數進諫以過失，使人簿責勝，縛嘉係獄。荒淫迷惑，失帝王禮誼，亂漢製度。臣敞等數進諫，不變更，日以益甚，恐危社稷，天下不安。
昌邑王取出諸侯王、列侯、二千石的綬帶以及黑色、黃色綬帶一起給昌邑國的郎官佩戴，把他們免為良人。將符節上的黃旄改為紅色。把禦府中的金子錢幣，刀劍玉器，彩色綢緞賞給一同嬉遊娛樂的人。同隨從的官員以及沒入官府的奴隸整夜聚飲，沉湎於酒中。下韶叫太官送上皇帝平時的膳食。食監奏道，沒有除去喪服不可進用平曰的飯菜，就下詔叫太官趕快準備，不要通過食監。太官不敢去準備，就派侍臣去宮外買來鶸和豬，下詔給宮殿門衛叫他們放行，以此作為常規。獨自在夜晚於溫室設九賓之禮，把他的姐夫昌邑關內侯請來相見。列祖列宗的祭廟還沒有舉行，就作璽書派使者拿著符節，用三副太牢祭祀昌邑哀王的陵園宗廟，自稱為嗣子皇帝。接受皇帝璽印以來的二十七天中，使者往來不絕，拿著符節向各個官署下達韶令征索物品，共有一千一百二卜七起。文學光祿大夫夏侯勝等以及侍中傅嘉幾次為他的過失進言規勸，他就派人拿著文書責備夏侯勝，並把傅嘉綁起來關進牢裹、、他荒淫昏亂，失去帝王的禮義，破壞丁漢朝的製度。臣楊敞等人幾次進言規諫，他都不改變過錯，反而一天比一天厲害，恐怕要危害國家，天下不安。
臣敞等謹與博士臣霸、臣雋舍、臣德、臣虞舍、臣射、臣倉議，皆曰：“高皇帝建功業為漢太祖，孝文皇帝慈仁節儉為太宗，今陛下嗣孝昭皇帝後，行淫辟不軌。《詩》雲：‘籍曰未知，亦既抱子。’五辟之屬，莫大不孝。周襄王不能事母，《春秋》曰‘天王出居於鄭’，繇不孝出之，絕之於天下也。宗廟重於君，陛下未見命高廟，不可以承天序，奉祖宗廟，子萬姓，當廢。”臣請有司禦史大夫臣誼、宗正臣德、太常臣昌與太祝以一太牢具，告祠高廟。臣敞等昧死以聞。
臣楊敞等謹與博士孔霸、臣雋舍、臣德、臣虞舍、臣射、臣後倉商議，都說：“高皇帝因為創建漢朝基業，所以稱漢太祖，孝文皇帝因為仁慈節儉被稱為太宗，如今陛下繼承孝昭皇帝之後，行為放縱不合法度。《詩經》上說：‘若說無知，也已抱子。，五刑的條文規定，罪孽沒有比不孝更大的。周襄王不能侍奉好母親，《春秋》就說‘天王出居到鄭國，，因為他不孝而被趕出京城，使他與天下人隔絕。宗廟比君王更重要，陛下沒有到高廟接受大命，就不可以繼承上天的意旨，奉祀祖宗宗廟，統治天下萬民，應當廢黜。”臣請求有關官員禦史大夫蔡誼、宗正劉德、太常蘇昌和太祝準備一副太牢供品，告祭高廟。臣楊敞等人冒死罪來奏報。
皇太後詔曰：“可。”光令王起拜受詔，王曰：“聞天子有爭臣七人，雖亡道不失天下。”光曰：“皇太後詔廢，安得天子！”乃即持其手，解脫其璽組，奉上太後，扶王下殿，出金馬門，群臣隨送。王西麵拜，曰：“愚戇不任漢事。”起就乘輿副車。大將軍光送至昌邑邸，光謝曰：“王行自絕於天，臣等駑怯，不能殺身報德。臣寧負王，不敢負社稷。願王自愛，臣長不複見左右。”光涕泣而去。群臣奏言：“古者廢放之人屏於遠方，不及以政，請徙王賀漢中房陵縣。”太後詔歸賀昌邑，賜湯沐邑二千戶。昌邑群臣坐亡輔導之誼，陷王於惡，光悉誅殺二百餘人。出死，號呼市中曰：“當斷不斷，反受其亂。”
皇太後下詔說：“準奏。”霍光就叫昌邑王起來跪拜接受詔令，昌邑王說道：“聽說天於衹要有靜臣七個人，即使無道也不會失去天下。”霍光說：“皇太後已下韶令廢黜，哪裹還是天子！”於是上前抓住他的手，解下他身上的璽印綬帶，捧上交給太後，扶著昌邑王下了宮殿，走出金馬門，群臣跟著送行。昌邑王向西麵拜道：“我愚昧不明事理，不堪擔當漢朝的重任。”起身坐上皇帝侍從的車輛。大將軍霍光把昌邑王送到昌邑邸後，霍光告罪道：“您的行為白絕於上天，臣下等怯懦無能，不能自殺來報答您的恩德。臣下寧可有負大王，不敢對不起國家。但願大王能夠自愛，臣下將再也不能見到您了。”霍光哭著離開了昌邑王。群臣又上奏說：“古代被罷黜放逐之人都流放到很遠的地方，不使他幹擾國家政令，我們請求把昌邑王劉賀遷到漢中房陵縣。”太後下詔命劉賀回到昌邑，並賜給他收取賦稅的私邑二千戶。昌邑國的群臣由於沒有盡輔佐教導君臣之誼，使王誤入歧途而獲罪。霍光就將他們全部殺了，共有二百多人。當這些人被拉出去處死的時候，都在街道中哭泣呼喊道：“當斷不斷，反受其亂。”
光坐庭中，會丞相以下議定所立。廣陵王已前不用，及燕刺王反誅，其子不在議中。近親唯有衛太子孫號皇曾孫在民間，鹹稱述焉。光遂複與丞相敞等上奏曰：“《禮》曰：‘人道親親故尊祖，尊祖故敬宗。’大宗亡嗣，擇支子孫賢者為嗣。孝武皇帝曾孫病已，武帝時有詔掖庭養視，至今年十八，師受《詩》、《論語》、《孝經》，躬行節儉，慈仁愛人，可以嗣孝昭皇帝後，奉承祖宗廟，子萬姓。臣昧死以聞。”皇太後詔曰：“可。”光遣宗正劉德至曾孫家尚冠裏，洗沐賜禦衣，太仆以軨獵車迎曾孫就齋宗正府，入未央宮見皇太後，封為陽武侯。已而光奉上皇帝璽綬，謁於高廟，是為孝宣皇帝。明年，下詔曰：“夫褒有德，賞元功，古今通誼也。大司馬、大將軍光宿衛忠正，宣德明恩，守節乘誼，以安宗廟。其以河北、東武陽益封光萬七千戶。”與故所食凡二萬戶。賞賜前後黃金七千斤，錢六千萬，雜繒三萬匹，奴婢百七十人，馬二千匹，甲第一區。
霍光坐在朝廷中，會同丞相以下大臣商議決定所立的人選。廣陵王早在這之前就沒有被選用，等到燕剌王謀反被誅，他的兒子也就不在議論中了。近親中現衹有衛太子的孫子號稱皇曾的還在民間，受到普遍稱讚。霍光便又同丞相楊敞等大臣一同上奏說：“《禮》書中說‘為人之道能夠親愛親人就能尊崇祖先，能夠尊崇祖先就能夠敬重宗廟’。如今大宗沒有繼承人，就應選擇旁支子孫中賢能的人作為繼承人。孝武皇帝的曾孫病已，武帝時有韶令在掖庭中撫養照看，到現在年已十八，從師學習《詩》、《論語》、《孝經》，身體力行節儉，仁慈愛人，可以繼承孝昭皇帝的皇位，事奉祖先宗廟，統治萬民。臣下冒死以告。”皇太後下詔說：“準奏。”霍光就派遣宗正劉德到曾孫家尚冠裏，幫他洗梳沐浴，賜給他皇帝的衣服，叫太仆用輕便小車把曾孫接到宗正府進行齋戒，入未央宮謁見皇太後，被封為陽武侯。不久霍光就捧上皇帝的印璽，然後到高廟去拜謁，造就是孝宣皇帝。第二年，皇帝下詔說：“褒獎有德的人，賞賜有大功的人，是古今的常理。大司馬大將軍霍光守衛宮廷忠誠正直，宣揚道德彰明恩澤，保守節操秉行仁義，用來安定宗廟。將河北、東武陽的一萬七千戶加封給霍光。”加上他以前的封地一共有兩萬戶。前後賞給他黃金七千斤，錢六千萬，各色彩帛三萬匹，奴婢一百七十人，馬二千匹，上等住宅一處。
自昭帝時，光子禹及兄孫雲皆中郎將，雲弟山奉車都尉、侍中，鄰胡、越兵。光兩女婿為東西宮衛尉，昆弟諸婿外孫皆奉朝請，為諸曹大夫、騎都尉，給事中。黨親連體，根據於朝廷。光自後元秉持萬機，及上即位，乃歸政。上廉讓不受，諸事皆先關白光，然後奏禦天子。光每朝見，上虛己斂容，禮下之已甚。
從昭帝時起，霍光的兒子霍禹以及霍光哥哥的孫子霍雲都已是中郎將，霍雲的弟弟霍山任奉車都尉、侍中，掌握胡、越兵權。霍光的兩個女婿分別是東西宮的衛尉，霍光兄弟的女婿及外孫都有資格參加朝會，擔當諸曹大夫，騎都尉，給事中的官職。黨派親族連成一體，盤根錯節地占據了朝廷。霍光從後元以來一直總理朝政，等到皇上登基以後，才歸還朝政。皇上謙讓不肯接受，各種政事都要先請示霍光後，再上奏給天子。霍光每次上朝參見，皇上都謙恭嚴肅，對他十分恭敬禮讓。
光秉政前後二十年，地節二年春病篤，車駕自臨問光病，上為之涕泣。光上書謝恩曰：“願分國邑三千戶，以封兄孫奉車都尉山為列侯，奉兄票騎將軍去病祀。”事下丞相、禦史，即日拜光子禹為右將軍。
霍光執政前後達二十年，地節二年春他病得很厲害，皇上親自去他家探望病情，為之流淚哭泣。霍光上書謝恩說：“我願把我封國食邑的三千產用來分封我哥哥的孫子奉車都尉霍山為列侯，以供奉我哥哥驃騎將軍霍去病的祭祀。”皇上把此事交給丞相禦史辦理，當天就授任霍光的兒子霍禹為右將軍。
光薨，上及皇太後親臨光喪。太中大夫任宣與侍禦史五人持節護喪事。中二千石治莫府塚上。賜金錢、繒絮、繡被百領，衣五十篋，璧珠璣玉衣，梓宮、便房、黃腸題湊各一具，樅木外臧槨十五具。東園溫明，皆如乘輿製度。載光屍柩以轀輬車，黃屋在纛，發材官輕車北軍五校士軍陳至茂陵，以送其葬。諡曰宣成侯。發三河卒穿複士，起塚祠堂。置園邑三百家，長丞奉守如舊法。
霍光去世後，皇上及皇太後都親自到霍光的靈堂去吊唁。太中大夫任宣和五個侍禦史一同拿著符節操辦喪事。中二千石的大臣在墓地上設置幕府辦事。皇上還賜給金錢、帛絹絲綿，繡花棉被一百條，衣服五十箱，金鏤玉衣，內棺、外槨、黃腸題湊各一副，隨葬的外藏樅木槨十五副。柬園製作的溫明秘器，全都如同皇帝的規格。用輥鯨車載著霍光的遺體，車上用黃緞覆蓋，轅左插上羽飾大旗，派材官、輕車、北軍五校士兵列隊一直到達茂陵，來為霍光送葬。給他賜謐號為宣成侯。征發河東、河南、河內三郡的士兵挖掘墓穴，蓋起陵墓祠堂，設置看護的園邑三百家，長史、丞掾按照舊法侍奉守護陵園。
既葬，封山為樂平侯，以奉車都尉領尚書事。天子思光功德，下詔曰：“故大司馬、大將軍、博陸侯宿衛孝武皇帝三十有餘年，輔孝昭皇帝十有餘年，遭大難，躬秉誼，率三公、九卿、大夫定萬世冊，以安社稷，天下蒸庶鹹以康寧。功德茂盛，朕甚嘉之。複其後世，疇其爵邑，世世無有所與，功如蕭相國。”明年夏，封太子外祖父許廣漢為平恩侯。複下詔曰：“宣成侯光宿衛忠正，勤勞國家，善善及後世，其封光兄孫中郎將雲為冠陽侯。”
霍光被安葬以後，宣帝就封霍山為樂平侯，以奉車都尉的身份兼管尚書的事務。天子追思霍光的功德，下韶令說：“已故大司馬大將軍博陸侯在宮禁中侍奉孝武皇帝三十餘年，輔佐孝昭皇帝又有十多年，中間遭遇到重大的災難，挺身執仗正義，率領三公九卿大夫決定萬年大計以安定國家，天下的黎民百姓才獲得安康太平。他的功德無量，朕極為嘉許。決定免去他後代的徭役。子孫繼承他的封爵食邑，世世代代不準改變，他的功勞與蕭相國同等。”第二年夏天，宣帝封太子的外祖父許廣漢為平恩侯。又下詔令道：“宣盛堡霍光在宮禁中侍奉天子忠誠正直，為國家辛勤操勞。褒獎善良的人應推及後代，此封霍光哥哥的孫子中郎將霍雲為冠陽侯。”
禹既嗣為博陸侯，太夫人顯改光時所自造塋製而侈大之。起三出闕，築神道，北臨昭靈，南出承恩，盛飾祠室，輦閣通屬永巷，而幽良人婢妾守之。廣治第室，作乘輿輦，加畫繡茵馮，黃金塗，韋絮薦輪，侍婢以五采絲挽顯，遊戲第中。初，光愛幸監奴馮子都，常與計事，及顯寡居，與子都亂。而禹、山亦並繕治第宅，走馬馳逐平樂館。雲當朝請，數稱病私出，多從賓客，張圍獵黃山苑中，使蒼頭奴上朝謁，莫敢譴者。而顯及諸女，晝夜出入長信宮殿中，亡期度。
霍禹繼爵為博陸侯後，太夫人顯改變了霍光生前自己設計的墓地規製而加以擴大。建起三個出口的門闕，修築神道，北麵靠近昭靈，南麵越出丞墨。大肆裝修祠堂，輦車的專用道直通到墓穴中的永巷，又幽禁平民、奴婢、侍妾來守護。還大建住宅，製造乘坐的輦車，增加飾有圖案的繡花坐墊、把手，並塗飾黃金，又用皮裹著絲絮包住車輪，侍從婢女用五彩的絲帶拉著顯所乘坐的車，在住宅中遊戲取樂。當初，霍光寵愛家奴總管馮子都，常同他商量事情，等到顯守寡獨居時，她便和馮子都通奸。而霍禹、霍山也同時修繕住宅，常在平樂館跑馬追逐。霍雲每當朝會的時候，多次稱病私下外出，帶著很多賓客，在黃山苑囿中張圍打獵，卻委派奴仆代為上朝謁見，沒有人敢譴責。而且顯和她的幾個女兒，不分白天黑夜地進出長信宮的宮殿中，沒有限度。
宣帝自在民間聞知霍氏尊盛日久，內不能善。光薨，上始躬親朝政，禦史大夫魏相給事中。顯謂禹、雲、山：“女曹不務奉大將軍餘業，今大夫給事中，他人一間，女能複自救邪？”後兩家奴爭道，霍氏奴入禦史府，欲蹋大夫門，禦史為叩頭謝，乃去。人以謂霍氏，顯等始知憂。會魏大夫為丞相，數燕見言事。平恩侯與侍中金安上等徑出入省中。時，霍山自若領尚書，上令吏民得奏封事，不關尚書，群臣進見獨往來，於是霍氏甚惡之。
宣帝在民間時就聽說並知曉霍氏尊貴強盛日子長久，心中並不認為這是一件好事。霍光去世後，宣帝才開始親自治理朝政，讓禦史大夫魏相任給事中。顯對霍禹、霍雲、霍山等人說：“你們這些人不努力繼承大將軍的遣業，如今大夫任給事中，一旦有人在中間挑撥，你們還能拯救自己嗎？”後來霍、魏兩家的奴仆爭路，霍氏的奴仆就跑到禦史大夫府中，要踢壞他府中的大門，禦史為此叩頭請罪，他們才離開。有人把這件事告訴了霍家，顯等人才開始知道將有憂患。等到魏大夫擔任丞相，經常在閑暇時被召見談論政事。平恩侯和侍中金安上都能直接出入宮禁中。適時霍山仍舊兼領尚書的事務，但皇上叫官吏百姓可以密封奏章上報，不必通過尚書，群臣百官進見皇上可以獨自往來，霍氏對此非常不滿。
宣帝始立，立微時許妃為皇後。顯愛小女成君，欲遣之，私使乳醫淳於衍行毒藥殺許後，因勸光內成君，代立為後，語在《外戚傳》。始，許後暴崩，吏捕諸醫，劾衍侍疾亡狀不道，下獄。吏簿問急，顯恐事敗，即具以實語光。光大驚，欲自發舉，不忍，猶與。會奏上，因署衍勿論。光薨後，語稍泄。於是上始聞之而未察，乃徙光女婿度遼將軍、未央衛尉、平陵侯範明友為光祿勳，次婿諸吏中郎將、羽林監任勝出為安定太守。數月，複出光姊婿給事中光祿大夫張朔為蜀郡太守，群孫婿中郎將王漢為武威太守。頃之，複徙光長女婿長樂衛尉鄧廣漢為少府。更以禹為大司馬，冠小冠，亡印綬，罷其右將軍屯兵官屬，特使禹官名與光俱大司馬者。又收範明友度遼將軍印綬，但為光祿勳。及光中女婿趙平為散騎、騎都尉、光祿大夫將屯兵，又收平騎都尉印綬。諸領胡越騎、羽林及兩宮衛將屯兵，悉易以所親信許、史子弟代之。
宣帝剛登基時，就冊封卑賤而未顯達時所娶的許妃為皇後。顯很喜愛她的小女兒成君，想使她得到富貴，就暗自派產科醫生淳於衍下毒藥殺死許後，乘機勸霍光要宣帝娶成君，取代許後成為皇後。這些事《外戒傳》中有記載。當時許後突然死亡之時，官吏逮捕了宮中所有醫生，並彈劾淳於衍在治病過程中行跡可疑，不合常理，就把他關進了監獄。獄吏對他審問得很急迫，顯害怕事情敗露，就把實情告訴了霍光。霍光大吃一驚，想親自去告發這件事又不忍心，正在猶豫。適逢此案的奏章上報，霍光就乘機批覆對淳於衍不必再追究。霍光薨後，真相開始慢慢泄露出去。對這件事皇上衹是剛聽說到但不明虛實，就調動霍光的女婿度遼將軍未央宮的衛尉平陵侯範明友任光祿勳，第二個女婿諸吏中郎將羽林監任勝出任安定太守。幾個月後，又調出霍光姐姐的女婿給事中光祿大夫張朔任蜀郡太守，孫女婿中郎將王漢為武威太守。遇了不久，又調霍光的大女婿長樂宮衛尉鄧廣漠任少府。再調霍禹任大司馬，衹戴小帽子，沒有印章，撤銷了他的右將軍及所統轄的駐軍官兵，衹是讓霍禹的官名與霍光一樣，都是大司馬。又收回範明友度遼將軍的官印，衹讓他任光祿勳。還有霍光的三女婿趙平為散騎騎都尉光祿大夫統領駐軍，又把趟平的騎都尉官印收回。所有統領的胡人、越人騎兵、羽林軍以及兩宮衛隊所統領的士兵，都改為由宣帝所親信的許、史兩家子弟代為統領。
禹為大司馬，稱病。禹故長史任宣候問，禹曰：“我何病？縣官非我家將軍不得至是，今將軍墳墓未幹，盡外我家，反任許、史，奪我印綬，令人不省死。”宣見禹恨望深，乃謂曰：“大將軍時何可複行！持國權柄，殺生在手中。廷尉李種、王平、左馮翊賈勝胡及車丞相女婿少府徐仁皆坐逆將軍意下獄死。使樂成小家子得幸將軍，至九卿封侯。百官以下但事馮子都、王子方等，視丞相亡如也。各自有時，今許、史自天子骨肉，貴正宜耳。大司馬欲用是怨恨，愚以為不可。”禹默然。數日，起視事。
霍禹被任命為大司馬後，就稱說有病。霍禹原先的長史任宣來探望問候，霍禹說道：“我哪裹有什麼病？天子不是靠我家將軍怎麼能到現在的地步，如今將軍的墳墓還沒有幹，他就一律疏遠排斥我們家族，反而任用許、史兩家的人員，還沒收了我的官印，真讓人死都弄不明白。”任宣見霍禹怨恨很深，就對他說道：“大將軍的時代怎麼還能再有！把持國家的權柄，生殺予奪操在手中。廷尉李種、王平、左馮翊賈勝胡以及車丞相的女婿少府徐仁都因冒犯大將軍的意旨而被下獄處死。使樂成這樣的小戶人家子弟因為受到將軍寵愛，官至九卿，爵為列侯。百官以下衹事奉馮子都、王子方等人，根本不把丞相放在眼裏。這是各自有自己的時代，如今許、史兩家是天子的骨肉姻親，得到尊貴正是理所當然。大司馬如果因此而心懷怨恨，我認為不應該。”霍禹聽後沉默不語。過了幾天，霍禹又上朝處理事務。
顯及禹、山、雲自見日侵削，數相對啼泣，自怨。山曰：“今丞相用事。縣官信之，盡變易大將軍時法令，以公田賦與貧民，發揚大將軍過失。又諸儒生多窶人子，遠客饑寒，喜妄說狂言，不避忌諱，大將軍常仇之，今陛下好與諸儒生語，人人自使書對事，多言我家者。嚐有上書言大將軍時主弱臣強，專製擅權，今其子孫用事，昆弟益驕恣，恐危宗廟，災異數見，盡為是也。其言絕痛，山屏不奏其書。後上書者益黠，盡奏封事，輒下中書令出取之，不關尚書，益不信人。”顯曰：“丞相數言我家，獨無罪乎？”山曰：“丞相廉正，安得罪？我家昆弟諸婿多不謹。又聞民間訁雚言霍氏毒殺許皇後，寧有是邪？”顯恐急，即具以實告山、雲、禹。山、雲、禹驚曰：“如是，何不早告禹等！縣官離散斥逐諸婿，用是故也。此大事，誅罰不小，奈何？”於是始有邪謀矣。
顯和霍禹、霍山、霍雲眼看著自己的權勢一天天被削奪，幾次相對流淚啼哭，自相埋怨。霍山說：“現在丞相執政，受到皇帝信賴，全部改變大將軍當時製定的法令，將公田授給貧民，以宣揚大將軍的過失。又有諸位儒生，大多是窮人子弟，遠道而來客居京城，衣食不保，卻喜歡口出狂言，不避忌諱，大將軍曾對這些人忌恨如仇，如今陛下卻喜歡同眾儒生交談，又讓他們自行上書答對政事，這些人就盡說我們家的事。曾經有人上書說大將軍在時，主弱臣強，攬權獨裁，如今他的子孫當權，兄弟們更加驕橫恣肆，恐怕將要危及宗廟社稷，災異怪事頻繁出現，都是因為這個緣故。他的話說得極其痛切，我就壓下沒有把此書上奏。後來上書的人更加狡猾，全都使用密封奏事，皇上就叫中書令出來取走，不通過尚書，皇上越來越不信任我了。”顯問道：“丞相屢次說我家的事，難道就沒有罪過嗎？”霍山答道：“丞相廉潔正直，哪裹能有罪？我家的弟兄們和各位女婿大多行為不慎。又聽民間盛傳說霍家用毒殺死了許皇後，真有此事嗎？”顯很害怕，就全部將實情告訴了霍山、霍雲、霍禹。霍山、霍雲、霍禹驚慌地說道：“像這等事情，為什麼不早對我們說呢？天子離散斥逐我們家的幾個女婿，是因為這個緣故啊。這是一件大事，處罰可不會輕，怎麼辦？”從此他們就開始有了邪謀。
初，趙平客石夏善為天官，語平曰：“熒惑守禦星，禦星，太仆奉車都尉也，不黜則死。”平內憂山等。雲舅李竟所善張赦見雲家卒卒，謂竟曰：“今丞相與平恩侯用事，可令太夫人言太後，先誅此兩人。移徙陛下，在太後耳。”長安男子張章告之，事下廷尉。執金吾捕張赦、石夏等，後有詔止勿捕。山等愈恐，相謂曰：“此縣官重太後，故不竟也。然惡端已見，又有弑許後事，陛下雖寬仁，恐左右不聽，久之猶發，發即族矣，不如先也。”遂令諸女各歸報其夫，皆曰：“安所相避？”
當初，趙平的門客石夏知曉天文，他對趙平說：“熒惑守著禦星，禦星是太仆奉車都尉的星宿，他們不是被貶官就是被殺死。”趟平內心替霍山等人擔憂。霍雲的舅舅李竟的好友張赦見霍雲家族岌岌可危，就對李竟說：“如今丞相與平恩侯當權，可以叫太夫人告訴太後，先把這兩個人殺了。罷黜陛下，就在於皇太後。”長安男子張章告發了這件事，宣帝就把此事交給廷尉處理。執金吾拘捕了張赦、石夏等人，後來又有韶令製止，不準拘捕。霍山等人更加恐慌，相對說道：“這是天子看重太後的麵子，所以沒有深究。但是凶兆已顯現，又有毒殺許後的事，陛下即使寬大仁厚，就怕他左右的人不聽，時間久了仍然會追查，一旦查清就要被滅族，我們不如先動手。”於是就叫幾個女兒各自回去告訴自己的丈夫，都說：“哪裹還有地方避難呢？”
會李竟坐與諸侯王交通，辭語及霍氏，有詔雲、山不宜宿衛，免，就第。光諸女遇太後無禮，馮子都數犯法，上並以為讓，山、禹等甚恐，顯夢第中井水溢流庭下，灶居樹上，又夢大將軍謂顯曰：“知捕兒不？亟下捕之。”第中鼠暴多，與人相觸，以尾畫地。鴞數鳴殿前樹上。第門自壞。雲尚冠裏宅中門亦壞。巷端人共見有人居雲屋上，徹瓦投地，就視，亡有，大怪之。禹夢車騎聲正訁雚來捕禹，舉家憂愁。山曰：“丞相擅減宗廟羔、菟、蛙，可以此罪也。”謀令太後為博平君置酒，召丞相、平恩侯以下，使範明友、鄧廣漢承太後製引斬之，因廢天子而立禹。約定未發，雲拜為玄菟太守，太中大夫任宣為代郡太守。山又坐寫秘書，顯為上書獻城西第，八馬千匹，以贖山罪。書報聞，會事發覺，雲、山、明友自殺，顯、禹、廣漢等捕得。禹要斬，顯及諸女昆弟皆棄市。唯獨霍後廢處昭台宮，與霍氏相連坐誅滅者數千家。
適逢李竟因與諸侯工勾結而致罪，供辭中涉及霍氏，宣帝就下韶說霍雲、霍山不宜在宮中供職，免官回家。霍光的幾個女兒對待太後無禮，馮子都數次犯法，皇上就一同加以責問，霍山、霆噩等人感到很害怕。題在夢中見到住宅中的井水溢出流到廳堂下，廚房裹的爐灶掛在了大樹上，又夢見大將軍對顯說：“你知道我們的兒子要被捕了嗎？他們很快就會來捕人的。”住宅中的老鼠一下多了起來，與人相互碰撞，用尾巴在地上亂畫。貓頭鷹幾次在殿前的樹上叫喚。住宅的門無緣無故毀壞，霍雲尚冠裏住宅中的門也無緣無故地壞了。街巷口的人都看到有人坐在霍雲的屋頂上，揭下瓦片扔到地上，到跟前去看，卻又沒有見到人，感到非常奇怪。霍禹夢中聽到車馬喧喧嚷嚷地來捕捉他，全家對這些怪事感到憂愁。霍山說道：“丞相擅自減少宗廟供品的羔羊、兔子、青蛙，可以用這來定他的罪。”他們設謀叫太後為博平君設置酒席，把丞相、平恩侯以下的官員召來，讓範明友、鄧廣漢奉太後的製令將這些人拉出去斬首，乘機罷除天子而立霍禹為帝。相約定的計劃還沒有實施，霍雲就被任命為玄菟太守，太中大夫任宣被任命為代郡太守。霍山又因為抄寫宮禁秘書犯法，顯為此上書表示願獻出城西的宅第及一千匹馬用以贖霍山的罪。宣帝在奏書上衹批覆知道了。剛好他們密謀的事被發覺，霍雲、霍山、範明友自殺，顯、霍禹、鄧廣漢等人被捕捉到。霍禹被腰斬，顯及她的幾個女兒兄弟都被處死。惟獨霍後被廢黜幽禁在昭台宣。與星醫相牽連而被定罪誅殺滅族的有好幾千家。
上乃下詔曰：“乃者東織室令史張赦使魏郡豪李竟報冠陽侯雲謀為大逆，朕以大將軍故，抑而不揚，冀其自新。今大司馬博陸侯禹與母宣成侯夫人顯及從昆弟子冠陽侯雲、樂平侯山諸姊妹婿謀為大逆，欲詿誤百姓。賴宗廟神靈，先發得，鹹伏其辜，朕甚悼之。諸為霍氏所詿誤，事在丙申前，未發覺在吏者，皆赦除之。男子張章先發覺，以語期門董忠，忠告在曹楊惲，惲告侍中金安上。惲召見對狀，後章上書以聞。侍中史高與金安上建發其事，言無入霍氏禁闥，卒不得遂其謀，皆讎有功。封章為博成侯，忠高昌侯，惲平通侯，安上都成侯，高樂陵侯。”
宣帝於是下詔說：“不久以前束織室令史張赦指使魏郡的大戶李竟給冠陽侯霍雲回話，密謀犯上作亂，朕因為大將軍的緣故，就將事情壓住沒有公開，希望他們能改過白新。如今大司馬博陸侯霍禹和他的母親宣成侯的夫人顯以及堂弟的兒子冠陽侯霍雲、樂平侯霍山和他們姊妹的女婿們陰謀造**，企圖連累百姓。幸虧祖宗的神靈保佑，被事先發覺並捕獲，全部都伏法處決。朕對這件事很痛心。所有被霍氏所連累的人，如果事情發生在丙申以前，還沒有發覺報官在押的，一律赦免。男子張章先發覺了這件事，把它告訴了期門董忠，董忠又報告給左曹楊，楊憚報告給侍中金安上。楊憚被召見陳述情況，後來張章又上書報告。侍中史高與金安上建議告發這件事，說不準霍氏進入宮禁中，霍氏的陰謀才沒有成功，他們都同樣有功。特封張章為博成侯，董忠為高呂侯，楊憚為平通侯，金安上為都成侯，史高為樂陵侯。”
初，霍氏奢侈，茂陵徐生曰：“霍氏必亡。夫奢則不遜，不遜必侮上。侮上者，逆道也。在人之右，眾必害之。霍氏秉權日久，害之者多矣。天下害之，而又行以逆道，不亡何待！”乃上疏言：“霍氏泰盛，陛下即愛厚之，宜以時抑製，無使至亡。”書三上，輒報聞。其後霍氏誅滅，而告霍氏者皆封。人為徐生上書曰：“臣聞客有過主人者，見其灶直突，傍有積薪，客謂主人，更為曲突，遠徙其薪，不者且有火患。主人嘿然不應。俄而家果失火，鄰裏共救之，幸而得息。於是殺牛置酒，謝其鄰人，灼爛者在於上行，餘各以功次坐，而不錄言曲突者。人謂主人曰：‘鄉使聽客之言，不費牛、酒，終亡火患。今論功而請賓，曲突徙薪亡恩澤，焦頭爛額為上客耶？’主人乃寤而請之，今茂陵徐福數上書言霍氏且有變，宜防絕之。鄉使福說得行，則國亡裂土出爵之費，臣亡逆亂誅滅之敗。往事既已，而福獨不蒙其功，唯陛下察之，貴徙薪曲突之策，使居焦發灼爛之右。”上乃賜福帛十匹，後以為郎。
當初，霍氏生活奢侈，茂陵的徐生就說：“霍氏一定會滅亡。因為一旦驕奢就不會恭順，不恭順就必定要侮蔑皇上。侮蔑皇上是大逆不道的。在人之上，定會受到眾人的忌恨。霍氏掌握權柄的日子很久，忌恨的人就多了。天下的人都忌恨他們，而他們又倒行逆施，不滅亡還等什麼呢！”於是就上書進言道：“霍氏權勢太盛，陛下即使很厚愛他們，也應該時時加以克製，不要讓他們走上毀滅的道路。”上書三次，皇上祇回覆說知道了。後來霍氏被誅殺滅亡之後，凡是告發霍氏的人都得到封賞。有人替徐生上書說道：“臣聽說有一個客人去拜訪主人，看到主人家爐灶的煙囪是筆直的，旁邊堆有柴草，客人就告訴主人，要他換個彎曲的煙囪，將柴草搬得遠一點，不然將會有火災。主人默然不應。不久主人家果然失火，鄰居街坊都來救火，幸而火被撲滅。於是主人殺牛擺酒，酬謝他的鄰居，被燒傷的人安排坐在上座，其他的人按出力大小依次入座，惟獨沒有酬謝那個讓他換個彎曲煙囪的人。有個人對主人說：‘如果當初你聽客人的話，今天也就用不著破費殺牛置酒，而且始終不會有火災。現在論功請客，對那位建議換彎曲的煙囪、將柴草搬開的人不作報答，怎麼燒得焦頭爛額的人反而成了上賓之客呢？，主人這才省悟而去請那位客人。現在茂陵的徐福幾次上書說霍氏將有變故，應加以防患杜絕。假使當初徐福的建議得以采納，國家就不會有割地封爵的花費，大臣就不會有謀反誅減的禍敗。往事已經過去，但衹有徐福卻有功未賞，望陛下明察，能夠重視搬走柴草彎曲煙囪的良策，使其功在身體毛發被燒爛的人之上。”皇上於是就賜給徐福絹帛十匹，後來又任命他當了郎官。
宣帝始立，謁見高廟，大將軍光從驂乘，上內嚴憚之，若有芒刺在背。後車騎將軍張安世代光驂乘，天子從容肆體，甚安近焉。及光身死而宗族竟誅，故俗傳之曰：“威震主者不畜，霍氏之禍萌於驂乘。”
宣帝剛登基時，去參拜高廟，大將軍霍光與他同坐一輛車，皇上心裹很害怕，好像有芒刺在背。後來車騎將軍張安世代替霍光陪乘，天子就比較安逸自在，身體舒展自如，感到非常安全親近。等到霍光死後，他的宗族也都被誅，因此民間就傳說著：“威勢震動君主的人不會被容留，霍氏的禍患開始於陪乘。”
至成帝時，為光置守塚百家，吏卒奉詞焉。元始二年，封光從父昆弟曾孫陽為博陸侯，千戶。
到成帝時，為霍光安置了一百家守墓的人，吏卒按時祭祀。元始二年，霍光堂兄弟的曾孫霍陽被封為博陸侯，賜食邑一千戶。
金日磾字翁叔，本匈奴休屠王太子也。武帝元狩中，票騎將軍霍去病將兵擊匈奴右地，多斬首，虜獲休屠王祭天金人。其夏，票騎複西過居延，攻祁連山，大克獲。於是單於怨昆邪、休屠居西方多為漢所破，召其王欲誅之。昆邪、休屠恐，謀降漢。休屠王後悔，昆邪王殺之，並將其眾降漢。封昆邪王為列侯。日磾以父不降見殺，與母閼氏、弟倫俱沒入官，輸黃門養馬，時年十四矣。
金日磾字翁叔，本來是匈奴休屠王的太子。武帝元狩年間，驃騎將軍霍去病帶兵攻打匈奴的西部地區，斬殺了很多人。還奪取了休屠王用以祭祀天神的金鑄的佛像。那年夏天，驃騎將軍又從西麵經過居延，攻打祁連山，大獲全勝。由此，單於就怨恨住在西麵的昆邪、休屠多次被漢軍所攻破，想把他們的王召去殺掉。昆邪、休屠二王感到害怕，就謀劃投降漢朝。休屠王後來反悔，昆邪王就把他殺了，並率領他的部下一同投降了漢朝。昆邪王被封為列侯。金日磾由於他的父親不肯投降而被殺死，就同他的母親板氏、弟弟金倫一同被收進宮府為奴，送他到黃門養馬，這一年他才十四歲。
久之，武帝遊宴見馬，後宮滿側。日磾等數十人牽馬過殿下，莫不竊視，至日磾獨不敢。日磾長八尺二寸，容貌甚嚴，馬又肥好，上異而問之，具以本狀對。上奇焉，即日賜湯沐衣冠，拜為馬監，遷侍中、駙馬都尉、光祿大夫。日磾既親近，未嚐有過失，上甚信愛之，賞賜累千金，出則驂乘，入侍左右。貴戚多竊怨，曰：“陛下妄得一胡兒，反貴重之！”上聞，愈厚焉。
過了很久，漠武帝遊樂召閱各部所養馬匹，後宮的嬪妃都站滿武帝的兩側。金日蟬等數十人牽著馬經過殿下，其他的人沒有不偷偷地窺視的，衹有金日磾經過時不敢偷看。金日磾身高八尺二寸，容貌很威嚴，馬又養得膘肥體壯，武帝感到奇怪就問他，他如實作答。武帝覺得此人奇特，當天就賜給他沐浴衣冠，任命他為養馬總管，又升任他為侍中駙馬都尉光祿大夫。金日磾受到皇上親近後，不曾有過失，武帝很是信任喜愛他，賞賜給他的加起來有金子一千多兩，皇帝出宮他就陪乘，在宮內就奉侍在身邊。貴戚都私下抱怨，說：“陛下隨便得到一胡兒，反而器重他！”武帝聽到這些話後，更加厚待金日磾。
日磾母教誨兩子，甚有法度，上聞而嘉之。病死，詔圖畫於甘泉宮，署曰“休屠王閼氏”。日磾每見畫常拜，鄉之涕泣，然後乃去。日磾子二人皆愛，為帝弄兒，常在旁側。弄兒或自後擁上項，日磾在前，見而目之。弄兒走且啼曰：“翁怒。”上謂日磾“何怒吾兒為？”其後弄兒壯大，不謹，自殿下與宮人戲，日磾適見之，惡其淫亂，遂殺弄兒。弄兒即日磾長子也。上聞之大怒，日磾頓首謝，具言所以殺弄兒狀。上甚哀，為之泣，已而心敬日磾。
金日磾的母親教導兩個兒子，很有分寸和方法，武帝聽說後就表彰了她。她病死後，武帝下詔叫人替她畫像並放在甘泉宮，上麵寫著：“休屠王板氏。”金日磾每次見到畫像都要叩拜，麵對畫像流淚哭泣，然後才離去。金日磾的兩個兒子都很可愛，成為供武帝狎弄的孩童，經常呆在武帝身邊。造兩個孩童有一次從後麵抱住武帝的脖頸，金日磾在前麵看見了，就向他們瞪眼。孩童跑開並哭著說：“老先生發怒了。”武帝對金日磾說：“你為什麼對我的孩童發怒呢？”後來這兩個孩童都長大了，其中一個行為不謹，在殿下同宮人遊戲，金日磾正好看見了，他痛恨這個孩童的淫亂，就把他殺了。這個孩童就是金日磾的大兒子。武帝聽到這件事後大怒，金日磾叩頭請罪，詳細報告了之所以要殺死孩子的情況。武帝感到很哀痛，為他流淚，過後武帝心中就敬重起金日磾。
初，莽何羅與江充相善，及充敗衛太子，何羅弟通用誅太子時力戰得封。後上知太子冤，乃夷滅充宗族黨與。何羅兄弟懼及，遂謀為逆。日磾視其誌意有非常，心疑之，陰獨察其動靜，與俱上下。何羅亦覺日磾意，以故久不得發。是時，上行幸林光宮，日磾小疾臥廬。何羅與通及小弟安成矯製夜出，共殺使者，發兵。明旦，上未起，何羅亡何從外入。日磾奏廁心動，立入坐內戶下。須臾，何羅袖白刃從東箱上，見日磾，色變，走趨臥內欲入，行觸寶瑟，僵。日
