三天后。
鼎盛集团,大模型研究院,AI实验室。
刘大海在实验室待了二十几个小时,通宵没合眼,眼睛通红,布满血丝。
年纪不小了,这么熬已经有点吃不消;可精神仍很亢奋。
刚和韩路一见完面那回,对方用7B小模型加一万条数据微调出的那个叫“汤圆”的模型,给了他很大震撼。
后来他被叫到鼎盛CEO郑晓波办公室问这个模型,他实话实说:一定是标注数据好。
郑晓波问他,如果能拿到同等质量的数据,他能做出什么成绩。
刘大海说,他能给天捅出个窟窿来。
那是夸张的说法。
没想到,数据还真到了他手里——战投部VP程远亲自拿U盘送过来。
里面不是一万条,是八万条。
说是鼎盛和源智科技签了合作协议,对方共享的。
大致浏览一遍,刘大海就确认:这就是微调出“汤圆”的那批数据。能标到这个程度,怪不得一个7B小模型能被微调得这么强。
见猎心喜,他拉着组里人开了新一轮后训练,直接上顶格计算资源。
一轮一轮看结果,效果好得超乎想象。
一不小心就通了个宵。
很多人以为做大模型是好职业:赚钱多,大厂争抢,全社会瞩目。
可只有真干这行的人才知道,这活儿一点也不好干。很多时候,损失怎么降、奖励模型怎么收敛、各项指标怎么平衡——代码能力上去了,数学推理又掉了。
有些能用理论解释,有些找不到解释。
干这一行就像在一片漆黑的大海上开船。
既看不到终点,也看不到四周,只知道自己在前进,可究竟在往哪个方向前进?不知道。
也不知道会先到陆地,还是先撞上冰山。
怪不得搞模型的人爱戏称自己在炼丹:开炉之前,谁也不知道能不能成。
太像了。
正因为知道让模型能力提升一点有多难,一下子拿到这么多高质量标注数据、提升这么多,刘大海才这么兴奋。
可最初的兴奋过去之后,他忽然觉出点不对。
源智科技有这么高质量的标注,不拿来训练自己的模型吗?就算没资源从头做起,拿市面上的开源基座模型做微调,也能做出很惊人的成果吧。
怎么一点动静都没有?
有了这点不对,
…。。本站若有图片广告属于第三方接入,非本站所为,广告内容与本站无关,不代表本站立场,请谨慎阅读。
Copyright © 2020 二零小说 All Rights Reserved.kk