遂有众多谏人“凭空”出现，上书告发霍氏之不法行径，其中包括此前被霍光强行压下的许皇后遭毒杀一事亦被揭露出来。
宣帝借此将霍光之女婿度辽将军、未央卫尉、平陵侯范明友徙为光禄勋，次婿诸吏、中郎将、羽林监任胜调任安定太守。
为成功铲除霍氏家族，宣帝在不断使出狠招之际，还佯装尊崇霍家，大搞形式主义，并放任霍家人肆意妄为。对于霍家的累累恶行，宣帝佯装不知，不闻不问。如此一来，普通官员和百姓对霍家人的欺凌虽心怀愤恨，却也只能忍气吞声。
这让宣帝在与霍氏的争斗中，始终占据道义的高地，免受舆论的指责。毕竟在这种氛围下剿灭霍氏集团，他完全可以宣称自己对霍氏家族已做到仁至义尽，而他们却倒行逆施，纯属咎由自取，怪不得他人。
——帝贺一直认为，宣帝就是一个沽名钓誉的虚伪之人。
对于霍氏集团中“主动归附”呈上投名状的成员，宣帝亦给予机会善加利用。如京兆尹赵广汉，霍光当政时，他对霍光言听计从，霍光一逝，他便亲自率领属官，长驱直入霍禹府邸，将霍禹家的非法酿酒作坊砸了个稀巴烂。
宣帝对此实甚欣慰，然特召赵广汉入宫询问案情回应霍皇后之哭诉，以关切霍家之事，却未对赵广汉有任何责难，反在赵广汉离去时沉稳地拍拍他的肩膀，此即认可了他的所作所为，赵广汉自此成为“侵略”“逼迫”霍氏权贵“犯错”的急先锋。
越“侵略”，越“逼迫”，霍家人就更容易急中犯错。随着案情调查的逐渐深入，霍家人的“错”越犯越多。
数月之后，霍光的姊婿给事中、光禄大夫张朔被调任为蜀郡太守，孙女婿中郎将王汉则被调任为武威郡太守。紧接着，霍光的长女婿长乐卫尉邓广汉也被徙为长信少府。
然而，擅弄权谋的宣帝，却反手迁升霍禹为大司马（帝贺认为宣帝随后必架空之，使其成为有名无实的虚职），并且借此撤销了他右将军的军权：“更以禹为大司马，冠小冠，亡印绶，罢其右将军屯兵官属，特使禹官名与光俱大司马者。”
此外，范明友的度辽将军印绶也被收缴，仅保留光禄勋一职。与此同时，霍光的中女婿赵平的骑都尉印绶也被收走，仅保留散骑、光禄大夫之职。
至此，所有能威胁到皇宫安全的卫队包括南军的重要职位，全部改由宣帝所亲信的外戚之许、史两家子弟担任。——帝贺判断，宣帝要对霍氏集团做最后的清算了，诛灭之。
…。。