可不战而胜。如果放过这个机会，孙皓或不幸死去，吴人另立英明君主，虽有百万大军，长江是难以越过的，这不是留下后患吗?”
张华很赞赏羊祜的主张。
羊祜又对张华说，“能实现我这个愿望的是你啊!”
司马炎打算让羊祜卧病统领征吴诸将，羊祜说，“取吴不必我亲自参加，但平吴之后还要圣上操心去治理啊!关于功名的事，臣不敢自居。若我的一生即将完结，应当将未成事业托付他人，希望能审慎选出这个人。”
同年十一月羊祜病逝，享年五十八岁，并在临终前举荐杜预自代。
…… ……
羊祜死后，举天皆哀。司马炎亲着丧服痛哭，时值寒冬，司马炎的泪水流到鬓须上都结成了冰，追赠羊祜为侍中、太傅，持节如故。
荆州百姓在集市之日闻之羊祜的死讯，罢市痛哭，街巷悲声相属，连绵不断；吴国守边将士也为之落泪。可惜羊祜无子，以兄发子篇奉祜嗣。
晋灭吴的战争结束了汉末以来长期的分裂割据状态，使中国重归一统。羊祜虽然没有亲自参加这次战争，但他为规划、准备这场战争作出了不可磨灭的贡献。
羊祜死后二年，杜预按羊祜生前的军事部署一举灭吴，完成了统一大业，当满朝文武欢聚庆贺的时候，司马炎手举酒杯，流着眼泪说，“这是羊太傅的功劳啊!”。