去少保、太子太保及所加之级。十二月，他奉命同大学士巴哈纳、金之俊、卫周祚、李霨等校订《大清律》。
顺治十六年（1659年）闰三月，图海再次受到严重的打击。起因是侍卫阿拉那与公额尔克戴青家奴斗殴于市，刑部在审理时，判处阿拉那鞭一百，折赎，上奏得准。但十八天后，顺治帝下旨严办图海，图海被革职，家产籍没。这次处罚对图海来说，当然是非常致命的打击，丢官败家，还险些丧命。
看着图海的仕途就知道顺治的性情。
图海的仕途起起落落，之前围在吴禄夫妻身边奉承的阿谀小人轰然而散，甚至还有人落井下石。
有人跑到吴禄身边说图海已经惹得顺治厌恶，将来不可能再起来，因此建议他休掉马佳氏另娶他人。不过吴禄没有同意，而且斥责那个人。额亦腾得知，甚至道，若吴禄另娶他人，他就不认这个儿子。
图海得知非常感动，此时的他正处于人生的最低谷。连当初初任笔帖式被人陷害险些被下狱时都没这么低落，因为他知道他的伯父额亦腾必然会救他。可如今他惹了顺治，没人救得了他，他的伯父一家仍然不离不弃，更让他震动。
直到额亦腾去世，图海在额亦腾灵前，也和吴禄兄弟一起充当孝子，并且为额亦腾茹素一年。
而之前马佳氏生下云瑶和凌泰这对龙凤胎，让马佳氏从兄长被降罪的打击中走出来，也就没人再在她耳边多说什么。图海也甚为关心这对龙凤胎。
之后康熙登位图海终于又回到了之前的意气风发。在顺治十八年十月，顺治临终弥留之际，留下了遗言：“原任都统图海，情罪原屈，欲改未及。遇有满洲都统缺补用。著图海补授都统。”可知顺治帝反省此事，承认图海是被冤屈的，所以留下遗言，待日后由新皇帝为他弥补。正是因为有了顺治帝的这句话，所以康熙帝即位后，马上就授予图海正黄旗满洲都统一职。
一时之间，马佳氏又开始受人追捧，众人皆知图海甚为亲近妹妹一家，所以吴禄的官路一直走得很稳。
而此次选秀，吴禄和马佳氏受到多年前的影响，一直希望女儿将来嫁个好夫君就行，并未想过让云瑶进宫博取前程。但因为云瑶的梦以及一一验证的事实让夫妻两人容不得侥幸之心，只得想办法为女儿的将来做好打算。
因此夫妻两人去往舅兄家，找图海拿个主意，甚至说动图海对外甥女的前程做些努力。而此时吴禄两人已经去了很长时间了，云瑶不由担心舅舅不远帮助她入宫。
…。。