为敌，加上其人一直有贤名，是忠勇之士。因为杨坚代周后，对其晋爵一级，升为安平郡公，授太府卿。
当时北周初建。天下百废待兴，太府卿与工部尚书一起负责全国工程的建设，而苏孝慈则亲自在天下各州郡挑选能工巧匠，有建筑才能之士，很出色地完成了任务，也因此引起了时任太子的杨勇注意。开始与其结交。
苏孝慈欣然加入了太子一党，时间甚至还要在与杨勇互相结亲后才算正式结盟的高熲之前，加上其本人确实有才能，文武双全，声名显赫，因此一直是太子一党中除了高熲外的头号成员，多年来把民部、工部、兵部尚书都当了一遍，现在的官职是兵部尚书兼太子东宫左卫率，可谓位高权重。
这种时候，高熲让自己进入兵部，在太子一党的头号干将苏孝慈手下做事，这是一个明显的信号，希望自己加入太子一派，现在的情况显然和五年前在自己去突厥前高熲首次提议不一样，当时的高熲是权势遮天，恩宠正隆，朝野上下无人敢与之作对，所以自己当时拒绝了他，就被打压和雪藏到了现在。
可现在的情况完全不一样了，射箭场一事后，高粥和昔日的盟友，一手提拔起来的老朋友杨素之间已经是貌合神离，两人渐行渐远，现在已经如同陌路，照这样下去，迟早会反目成仇。
文武双全的杨素同样在汉人世家和军功贵族中有着极高的影响力，隐然有与高熲分庭抗礼之势，在这种情况下，高熲抓紧拉拢象自己这样根基全无，但才能卓著的后起之秀，以增加以后摊牌的资本，就非常容易理解了。
想到这里，王世充一点也高兴不起来，面色愈发地凝重，裴世矩也看出了这点，喝了一口茶后，看似不经意地说道：“怎么了，行满，真的当上实官了，好象没有我想象中的兴奋啊。”
王世充叹了口气：“弘大，你就别笑话我了，这种时候出来做官，又是在苏尚书的手下做事，那外人看来肯定我王世充就是投靠了高仆射，成为太子一党了，弘大，你自己也清楚现在是个什么情况，就这样挖个坑让我往里跳吗？”
裴世矩微微一笑，放下了手中的茶碗，说道：“这又如何？高仆射举荐他人完全是出于公心，从没有打过个人的算盘，不要说你我，就是杨仆射，还有苏纳言，当年不都是他老人家举荐的吗？难道杨仆射也跟他一样成了太子一党了？”
王世充一时语塞，但还是觉得不太对劲，沉默不语。
裴世矩继续说道：“世充，我知道你现在肯定有些不太情愿的，我个人也认
…。。