后登基的是其二十岁的长子，现已改名为赵顼的大皇子仲针。
在赵顼即位不久后，因“濮议”一事与欧阳修结怨的政敌便展开了对他的攻击。先是欧阳修夫人薛氏的从弟薛宗孺与欧阳修有私怨，在朝中散布谣言，说他与其长媳、吴充之女私通，御史彭思忠、蒋之奇遂借此飞语弹劾欧阳修。
但他们拿出的证据却是软弱无力的。吴氏小字“春燕”，他们便找出了欧阳修的几首词，说里面既有“春”又有“燕”，是暗藏吴氏之名。
皇帝赵顼在此事上很坚定地支持欧阳修，甚至当面怒斥蒋之奇，说：“你们大事不议，却爱抉人闺门之私！”随后将弹劾欧阳修的台官一个个逐出朝堂，但仍有台官继续论欧阳修“私媳”之事，而欧阳修也心灰意冷地自请补外，皇帝不许，他便一再上疏恳求。
治平四年三月间，我送画院画师完成的英宗御容图卷去秘阁供奉，偶遇从宝文阁出来的欧阳修。多年不见，他仍一眼便认出了我，很友善地唤我：“梁先生。”
一直以来，他对我与公主都怀有一种长辈般的关爱之情，在我们受到言官猛烈抨击的时候，他都没有随众指责过我们哪怕一次。如今听见他招呼，我心中一暖，立即向他施礼，寒暄道：“久不相见，相公安否？”
参知政事是副相，平时众人亦尊称其为“相公”。但欧阳修一听却摇头，微笑道：“从今日起，我不再是参政了，先生不可再称我‘相公’。”
我讶然脱口道：“这却从何说起？”
欧阳修道：“今上已接受我辞呈，免去我参政之职，命我出知亳州。明日我便要离京了，所以适才去宝文阁，拜别仁宗皇帝。”
宝文阁内藏仁宗御书，亦供奉有其御容，仁宗朝臣子离京通常都会前来拜别。
欧阳修的事被台官闹得沸沸扬扬，我是知道的，此刻听他这样说，不免深感遗憾，道：“台官所言之事，今上已辨查其诬，贬黜构陷之人，相公为何仍要求去？”
欧阳修没有细说原因，仅应以寥寥一语：“我只是觉得累了。”
我闻之感慨，又联想到当年言官说他“盗甥”一事，遂叹道：“相公一生性直不避众怨，惜为言者所累。”
欧阳修听了展颜一笑，道：“我年少时曾请僧人相面，僧人说我‘耳白于面，名满天下；唇不着齿，无事得谤’，如今看来，这话倒是应验了。”
我听后仔细打量他，果然发现他耳朵比面部要白，“唇不着齿”外表倒看不出，不知是何意，我亦不
…。。