道,这背后的理由是什么?”
“自然是因为我们掌握了更多信息。”理查德淡定地回答。
“更多的信息,是厂商的名字吗?”林伟伦的语气略带讥讽——他确实觉得这个问题非常荒诞。
“这是一部分有用的信息。”理查德并不觉得其中有什么不对,神色认真地说,“我们对中国厂商都有所了解。现实情况是,中国的大模型厂商在公开排行榜上有非常强的优化动机。你也看到了,这个来自中国的模型分数极为异常,我们有理由相信,这个测试结果不准确。”
只是分高,就是不准确?
林伟伦“嘿”了一声:“如果测试结果不准确,难道不是所有模型的测试结果都不准确吗?为什么单独剔除这一个模型?”
“这套测试题由多家机构和专家联合设计。我认为,作为最新的、评价现行模型的标准,它很有价值——只要剔除掉明显作弊的模型就可以了。”
林伟伦环视会议室里的代表。AI Foundations的成员单位大部分来自美国,这里的代表也大多来自美国。
对这个结果,没有一个代表提出异议。
他觉得自己刚刚经历了一场学术霸凌。
尽管这场霸凌并非针对他本人。
“那么,”林伟伦继续问,“这样一套经过严密设计的测试题,他们是怎么作弊的?”
理查德看向他。
“我没想到你会问出这个问题,林教授。”他话里意有所指,“一个模型成绩异常地高,自然是因为提前做了针对性训练。我认为,可能有AI Foundations的合作单位把这套本应视为机密的测试题泄露了出去。”
这场人工智能大会新加坡站,AI Foundations的合作单位只有两家:新加坡国立大学和新加坡国家AI研究院。这个指责指向谁,不言而喻。
林伟伦气极反笑。
以他的权限,只能看到分数结果,对测试内容一无所知。
合作方唯一能接触到的,是内部公告,以及关于会议议程、测试流程的一些统一邮件。
偷测试集?他难道是商业间谍吗?如果是,直接偷模型不好吗,为什么要偷一个没什么用的测试集?
现在理查德不仅要作废排名第一的测试结果,还要把提前泄露考题的黑锅扣到他头上?
林伟伦冷笑一声,说:“科尔曼教授,你的指责令人发笑。如果你执意执行这样的决定,我会
…。。本站若有图片广告属于第三方接入,非本站所为,广告内容与本站无关,不代表本站立场,请谨慎阅读。
Copyright © 2020 二零小说 All Rights Reserved.kk