谥宣成侯，遣官为他起坟墓祠堂，置园邑三百家，设官看守，依时祭奠。
霍光去世后，霍家依旧不懂得收敛，反而更加放肆，此时朝中要害部门依旧掌控在霍氏家族手中，霍显仗着霍家权势，更加肆无忌惮。
霍禹、霍山修建住屋极其华丽，又不时出外游行，驰逐平乐观一带。霍云更是放荡，每当朝见之日往往私自出外，带领宾客架鹰牵犬张围大猎，却使苍头奴持了名帖上朝挂号，有司畏其势力不敢责备。霍显与诸女任意出入长信宫，日夜无度。
却说御史大夫名叫魏相，以前治郡有方深得民心。在任茂陵令时，御史大夫桑弘羊的亲戚坑骗乡里，鱼肉百姓。魏相辨明真伪，不畏权贵，将其收捕治罪，并杀于街市示众，从此茂陵大治。在河南太守任上，他整顿吏治，考核实效，禁止奸邪，当时豪强无不畏服。因政绩突出，后被征为谏议大夫。宣帝即位后，征魏相为大司农，后升为御史大夫。
魏相见霍氏所为不成体统，便请许广汉带领入见宣帝。魏相一见宣帝便说：“自霍光去世，其子霍禹复为右将军，侄孙霍山现居政府，兄弟诸婿皆据高位。霍光夫人霍显及诸女在长信宫都有名籍，或夤夜称诏开门出入，宜设法减夺其权破其阴谋，以固万世之基，并可保全功臣之后。”宣帝久闻霍氏家人倚势横行，心中已是不喜，因看霍光面上不便究问。今闻魏相之言甚合其意，点头称善。又过数日，魏相复由许广汉面请宣帝，除去副封以免壅蔽。原来旧例人民上书须备正副两封，先由领尚书者开拆副封观看，若是所言不善便将原书搁起不奏。今宣帝依从魏相之言除去副封，人民所上之书不须由霍山过目。霍山虽领尚书事，但已毫无权力。宣帝准许群臣单独进见言事，霍显觉得情形不妙，便唤霍禹、霍山、霍云等说道：“汝辈奉承大将军遗业，不思保全自己地位，若有人进言离间何以自救？”霍禹等闻言也不在意，谁知不久真正闹出事来。
原来霍氏一班家奴，霍光在日倚借主势气焰凌人，谁也不敢将他得罪。如今霍光虽死，但他们骄横已惯，也不肯稍稍敛迹。一日霍氏家奴与御史大夫家奴同在路上行走，偏偏冤家路窄两下相让，彼此争执良久。霍氏家奴大怒，率领众人闯入御史府中，府中人见了连忙关门。
霍氏家奴闯破大门。御史对着众人叩头谢罪方才息事。旁人见了十分不平，一时议论纷纷，都说霍氏家奴目无法纪欺人太甚，霍显闻之方知忧惧。此时丞相韦贤年老多病，便向宣帝辞职，宣帝赐以黄金驷马归第。宣帝拜魏相为丞相，以丙吉为御史
…。。