虽然张太后处处表现出对杨廷和的欣赏，但杨廷和却不能满意，因为张太后心目中最值得信任的大臣始终是谢迁，而在得知皇帝安然无恙后，甚至连沈溪已经抵达灵丘随时可能会对皇帝不利这一境况都置之不顾。
杨廷和想做些惊天动地的大事，但发现很困难，因为朝中他的话语权是建立在谢迁没有回京的基础上，现在谢迁人已经到了居庸关，就算没正式回朝理事，但影响力却来了，之前一直跟杨廷和配合无间的人，现在开始对他虚以委蛇，大概意思是杨廷和暂时没资格绕过谢迁处理朝政。
我们跟你配合，那是看在谢迁的面子上，谢迁不在京城，你代表的就是内阁甚至是整个文官集团的利益。但若是谢迁回来了，那对不起，你要认清楚自己的身份和地位，我们不可能再唯你马首是瞻。
杨廷和从皇宫出来时，心情非常失落，他没有心思再去内阁，也没有找谁倾述委屈，而是选择直接回家。
杨廷和祖籍庐陵，祖上为躲避元末战乱，举家迁移至成都府新都县，他十二岁乡试中举，十九岁中进士授翰林检讨，比他父亲杨春还早中进士三年。杨廷和常年在翰苑供职，说沈溪是正德皇帝的老师，其实他的资历更为深厚，弘治八年便担任詹事府左春坊左中允，侍奉当时的东宫太子朱厚照讲读读书。
可惜的是，关键时候祖母去世，弘治十二年杨廷和回乡丁忧，以至于此后所有风头都被这一年殿试状元沈溪所夺。
弘治十四年杨廷和服丧期毕，被朝廷起复参与修撰《大明会典》并被提拔为左春坊大学士充任日讲官后，杨廷和便把整个家族迁移到京城来，如今一转眼已过去八年，算得上在京城落叶生根了。
杨廷和回到府中，心中的失落溢于言表，就在他准备回书房处理带回来的公务时，恰好碰到儿子杨慎。
今年是正德三年，杨慎已二十一岁，在年初的会试中名落孙山。
历史记载杨慎于正德三年参加会试，主考官王鏊、梁储将杨慎的卷子列为卷首第一，是为南房会元，万万不料烛花落到考卷以至于卷子被烧毁，就此名落孙山。
这个典故是否为真难以考证，毕竟会试是需要誊卷的，若在开卷定下名次后，连原卷都一并烧毁，那事情也太过蹊跷，不可能不引发朝野震动。
而在沈溪亲自参与的这个时代，今年杨慎的确参加礼部会试，但和历史上一样折戟沉沙，要知道刘瑾势力已提前垮台，而其父杨廷和已入阁快一年，绝对不可能出现什么不公正的地方。
…。。