多,甚至导致整个服务不可用。
「赵总,汤圆本身是大参数模型,即使是采用了稀疏架构,一次几百毫秒的用时也不是调度层能够承受得起的。慢是第一个问题,还有因为慢导致的第二个问题。汤圆用来做任务预测精度虽然高,但是延迟太长,我们只敢在任务链开始的时候加上,之後就只能依赖第一次的预测结果,可是有些用户请求是在交互的过程中突然增加了复杂度,这就导致还是使用第一次的测算结果就导致不准。」江松然说道。
韩路一在旁边也听懂了,江松然虽然说了两个问题,但其实本质还是速度慢。
因为速度慢而不敢每次调度都调用一次,导致精度漂移。
「文渊,这就是我把你专门叫过来的原因,」韩路一开口说道, 「上次我们聊过的,给汤圆做一个轻量版,你觉得能不能解决这个问题?」
在专业旗舰版被验证过性能之後,再推出参数更小、能力稍弱但是成本低很多的轻量版本来就是业内通行的做法。
一般这种轻量版都是通过蒸馏原始的旗舰模型後训练出来的。所谓蒸馏,指的是把一些高难度的问题输入到旗舰模型中,让它给出答案,再用这些问题和答案作为训练集来给轻量模型做後训练,这样就能以较低的成本让轻量模型拥有旗舰模型70%到80%的能力,实在是一种比较有性价比的做法。
当然了,你也不一定要去蒸馏自己家的旗舰模型,用同样的方法去蒸馏别家的旗舰模型也是可以的。自从汤圆api开放以来,起源集团这边已经发现并且捕捉了不少试图对汤圆1.0进行蒸馏的行为
了,很多请求都来自於美国。听了韩路一的话,赵文渊沉吟了片刻。
轻量模型确实在这方面有所帮助,甚至於可以考虑像当初的汤圆0.1那样,使用一个极小的模型来进行任务复杂度预测——只要能保证预测精度不会掉得太离谱。
但是——
赵文渊开口说道:「你们有没有听说过系统一和系统二?」
韩路一和江松然对视了一眼,同时点了点头。
系统一 (system 1)和系统二 (system 2)这个概念源自於诺贝尔经济学奖得主丹尼尔·卡尼曼的研究,在他的科普畅销书《思考,快与慢》里有过详细的阐述。
人的大脑在思考的时候有两套系统,一种运转极快,非常善於快速做出判断,但是因为没有激发深度思考,也比较容易被噪音干扰,这个叫做系统一;另外一种模
…。。本站若有图片广告属于第三方接入,非本站所为,广告内容与本站无关,不代表本站立场,请谨慎阅读。
Copyright © 2020 二零小说 All Rights Reserved.kk