员面面相觑,一时拿不准这算保密范围还是非保密范围,最后都把目光投向李珍珠。
李珍珠面无表情地点了点头。
操作电脑的研究员说道:“前期以英文和代码数据为主,建立通用能力。后期大幅提高韩语和企业领域数据的占比,通用数据只保留百分之五,因为我们希望把有限的训练预算集中在目标能力上。”
赵文渊眉头舒展开来:“那你们后半程应该很难受吧。刚切换数据时,韩语能力提升很快,通用能力也没明显退化;可往后就会顾此失彼、得不偿失。如果这时候再把学习率降下来,韩语能力又会退化,就像跷跷板,没办法两边同时提升。”
李珍珠却皱起了眉。
赵文渊说得太准确了,准确得就像他参与了训练过程一样。
“那该怎么解决?”李珍珠忍不住用英文问。
赵文渊看了她一眼,也直接用英文回答:“一开始就把通用数据占比提上来。这样前面几轮训练会有能力损失,但训练到后面,韩语能力和通用能力会同时提升。这里最关键的变量,其实是数据比例。”
李珍珠不信答案会这么简单:“增加通用数据,我们试过。同样的训练预算下,韩语能力提升明显变慢。你怎么证明,多花在通用数据上的算力,比后期修复能力更值得、更有效?”
赵文渊没想到这个小姑娘竟能跟上自己的思路,耐心解释道:“实验室可以算。拿一个中等大小的模型,用两种数据配比:一组从一开始就提高通用数据比例,一组沿用你们的方案,从同一个检查点出发;等韩语达到同一水平时,再比较旧能力保留了多少、总共用了多少算力。”说完,他又忍不住夸了一句,“你这个问题问得挺好,平时没少跑实验吧?”
朴在中在旁边插话:“李组长是MIT毕业的高材生。”
赵文渊说:“MIT的啊,那也还算不错了。”
李珍珠听出他话里隐含的轻视,气得脸都红了;赵文渊却还以为她是被夸之后害羞。
韩路一在旁边看着,内心狂叹:文渊啊文渊,朴在中没介绍她的身份,难道你就看不出来吗?一个堂堂副社长,凭什么对年纪比自己小那么多的副组长毕恭毕敬?
李珍珠和研究员们用韩语讨论了一下,最后开口:“不好意思,这只是一个判断,请原谅我们没法接受。我们再讨论下一个问题吧。”
赵文渊听了翻译的话,忍不住说:“那就现场跑一下啊。”
“跑一下?”李珍珠
…。。本站若有图片广告属于第三方接入,非本站所为,广告内容与本站无关,不代表本站立场,请谨慎阅读。
Copyright © 2020 二零小说 All Rights Reserved.kk