毋庸置疑，宣帝以帝贺认为并不完美的方式，仅仅追求巩固皇位的短视利益，不仅迅速稳定了局势，确立了自身的权威，更由于他竭尽全力地扭转霍光的政策，拨乱反正，使众人明白，那个被称为对汉朝有再造之功的功臣霍光，实际上只是一个擅权专政、不顾民生的权臣而已。
如此，霍光的声誉受损严重，而仰仗其庇护的霍氏家族亦渐为世人所不齿。
宣帝在纠正霍光之政的同时，又多管齐下，矛头直指霍氏家族。
霍光下葬之后，宣帝依循霍光的遗愿，封霍山为乐平侯，又使霍山以奉车都尉之职领尚书事，意即让霍山而非霍禹接替霍光主理国事。
霍禹身为霍光之嫡长子，且已获皇帝任命为最高武官之一的右将军，并承袭了霍光博陆侯的爵位，理应名正言顺地领尚书事，没想到未能如愿，虽有怨言，但尚书事一职毕竟给了霍家人，他又不敢公开发作。
帝贺认为，宣帝虽将尚书事交予霍家，但其意图在于挑拨霍氏兄弟，且因霍山以中级武官的身份领尚书事，人微言轻，日后操控起来便更为容易，要将其架空亦非难事。
地节三年（公元前67年）正月，霍光亲信丞相韦贤以老病请求致仕，开创汉代丞相退休先例。据《史记 建元以来侯者年表》中褚少孙讲，韦贤辞相，是因魏相（宣帝亲信）“谮毁”所致。
地节三年四月戊申，宣帝力排霍家人及霍皇后之强烈反对，毅然册立已故许平君皇后所生之子刘奭为皇太子。
此决定无疑宣告，日后霍成君皇后即便诞下龙子，亦仅能封王，这显然是霍家人所无法容忍的。他们筹谋已久，欲使霍皇后之子登上太子之位，进而掌控整个皇宫与朝堂。
帝贺深知，霍家人定然不会就此罢休。
果不其然，为与宣帝抗衡，霍夫人霍显将霍皇后召回霍府密议，妄图唆使霍皇后毒害太子。
幸而，此情报被霍皇后身旁的暗谍“雏菊”及时传递，帝贺经由许延寿迅速告知宣帝。
宣帝旋即增派人手保护太子，每逢霍皇后赐食，随侍太子的人员必先尝之，致使霍皇后竟无下毒之机：“复教皇后令毒太子。皇后数召太子赐食，保阿辄先尝之，后挟毒不得行。”（据《外戚传》）
立太子后，如帝贺所料，宣帝很快依魏相之计取消副封制度，诏令吏民再上书奏事时，奏书无需经由尚书，可直接呈递给他，如此一来，霍山的权力实则被变相剥夺：“时霍山自若领尚书，上令吏民得奏封事，不关尚书”。
…。。