庄青翟夺他相位。看官试想张汤自己正被人查办，不知格外谨慎；反要设法害人，可谓胆大已极。
张汤身为御史大夫，诸御史皆归统属，张汤说丞相明知偷盗之人却不行举发，应坐见知故纵之罪。张汤之意，以为庄青翟坐罪免相，自己当然得代其位。谁知有人急来报与庄青翟。庄青翟听后甚是忧惧，便密与长史商议。长史朱买臣、守长史王朝、边通三人闻言大怒，齐向庄青翟献计。
原来朱买臣与严助同为侍中，尊贵用事。其时张汤方为小吏，趋走买臣之前听其使令。后买臣因事失官，复起为丞相长史。张汤已贵至御史大夫，武帝甚加宠幸。每遇丞相出缺或告假，常令张汤代行丞相之事。朱买臣见张汤竟为自己长官，心中虽然不服，也只得低头忍气。偏是张汤每见朱买臣到来，踞坐床上，不肯略加礼貌。买臣深恨张汤。王朝与边通二人从前官位也在张汤之上，王朝曾为右内史，边通曾为济南相，如今失职来做丞相长史，张汤对他们也与朱买臣一般看待。
于是三人计议一番，便一起对庄青翟说道：“张汤答应与君一同谢罪，后来竟敢背约。今又将君劾奏，其意欲代君之位。吾等久知张汤秘密过恶，事已至此，不如先发制人。”庄青翟点首应允。
朱买臣等遂将田信等商人捕拿到案，逼令证明张汤罪状，说他营私舞弊，案关重大。恰好这时减宣又将查办谒居之事复奏上来，武帝不觉大怒，连遣使臣责问张汤，张汤极口抵赖，无一承认。武帝更令廷尉赵禹向汤诘问，张汤仍然不服。减宣冷笑道：“君也不知分量！试想君决狱以来杀人几何？灭族几何？今君被人讦发，事皆有据。君不如就此自决，还可保全家族呢！”张汤自知不免，于是取剑在手拚命一挥，喉管立断当然毙命。
张汤已死，老母及兄弟子侄等环集悲号，且欲将张汤厚葬。张汤实无余财，家产不过五百金，俱系所得禄赐，余无他物。汤母嘱咐家人道：“张汤身为大臣，坐被恶言终致自杀，还用甚么厚葬呢？”家人乃草草棺殓，止用牛车一乘载棺出葬，棺外无椁就土埋讫。家族保全还算幸事。武帝听说汤无余资，汤母禁令厚葬，益加叹息道：“非此母不生此子！”后人有诗叹道：
天道由来是好生，
杀人毕竟少公平，
试看酷吏多遭戮，
才识苍穹有定衡。