杨素自己武将出身，并不懂土木宫殿的营建，而他的侄女婿封伦擅长土木工程，又是杨素的自家亲戚，这种事当然找他来帮忙，可想不到杨坚虽然下旨建筑这仁寿宫，其所在却是在高山深谷之间，施工难度极大，非十年以上不能建成。
独孤皇后久居宫中，哪知这日晒雨淋，削山平谷的不易？她只知道杨素领了朝廷所拨的巨款，结果一年下来却连个地基也没打好。
从第二年开始，她便几次三番地召杨素入宫询问工程进度，甚至还说听到有人进言说杨素贪墨了工程款，才导致进展缓慢。
杨素一生树敌无数，眼热他这位置的人也不知凡几，几十年来在官场上一直遭遇着明枪暗箭，只是这一次，是皇后对他的信任出了问题，怪他办事不力。而且就在此时，由于酷暑，役夫中疫病横行，更有不少役夫趁机逃亡。
杨素最后实在没有办法，只能将一些病死的尸体焚烧以阻止疫情的传播，后来封伦又说尸体可以用来填平山谷，上面堆上土石，这样一举三得，既处理了尸体，又平了山谷加快了进度，还能吓阻那些不知情的役夫，使其不敢再逃亡，拼命施工。
最后用了这种办法，仁寿宫在两年多一点的时间就峻工了，靠得富丽堂皇，可这雄伟的宫殿的背后，是上万役夫的累累白骨。
事后杨坚派了高熲去验收，他一看在两年内这宫殿就盖得如此奢华，心知必是杨素滥用民力所致。又查清了杨素赶工埋尸的事情。回去后就如实禀告给杨坚。
杨坚有了个先入为主的坏印象。第二天便亲自视察，发现确如高熲所言，当时就龙颜大怒，大骂杨素害他结怨天下，甚至气得当场一脚把一块大石头踢下了山谷，伤到了脚趾还不自知。这次杨坚是动了真怒，甚至比那次杨坚戏言要当皇帝被他听到后还要生气。
杨素当时给吓得五内俱焚，心知触怒天颜。必会祸及全族，都准备一死以谢天下。亏得封伦给他出了个主意，说皇上虽怒，但皇后却一定会满意，让杨素连夜求见皇后，请她向皇上求情。
结果独孤皇后连夜吹了枕头风，好不容易做通了杨坚的工作，在第二天的朝会上还跟着杨坚一起上殿，提到此事时主动说杨素看他夫妻二人年老，不辞辛劳亲自为他们盖了一座宫殿以安度晚年。忠心可嘉，总算是把这事给应付了过去。
王华强听完这件事后。长出一口气：“幸亏独孤皇后力挺了越国公，不然皇上龙颜震怒，可是翻脸不认人的啊，前两年尚书右仆射苏威被免官的时候，谁又能想得到皇上
…。。