韩路一一下飞机就马不停蹄的约了赵文渊。本来想自己赴约,但张彪非要跟着,说是工作职责。
还是上次那个地方,南京西路瑞幸,韩路一推门进去的时候,赵文渊已经坐在靠窗的位子上了,手里拿着一杯生椰拿铁。
本书由??????????.??????全网首发
上次坐在这儿的时候,赵文渊说「大模型太贵了,这不是我们玩得起的领域」,韩路一说「源码的门随时给你开着」。
那是不到一个月前的事。
赵文渊穿了件灰色运动外套,看起来精神还不错。他抬头看见韩路一,又看见韩路一身後跟着的像终结者一样的张彪,愣了一下。
「你这是————」
「这是彪哥,专业保镖。」韩路一拉开椅子坐下,「投资人安排的。」
赵文渊上下打量了一下张彪,张彪在隔壁桌坐下,面无表情地掏出手机来点单—他点了一杯摩卡。
「你融了多少?」
「两个亿。」
赵文渊端起生椰拿铁喝了一口,没什麽特别的表情。
「估值呢?」
「二十亿。」
「那咱们确实可以聊聊了。」赵文渊说,「你准备了多少预算?」
韩路一也不绕弯子:「三千万,模型团队的启动预算,你觉得怎麽花?」
赵文渊没直接回答,反问了一句:「你想从头训练?」
「我感觉不够,你觉得呢?」
「确实不够。」赵文渊说,「差得远了。」
他翻过一张纸巾,从兜里掏出笔,开始在上面写字。
「通用大模型,千亿参数级别,预训练要几千张H100跑两到三个月。」他写了个数,「算力成本几千万美金起步,头部大厂一轮预训练烧一两个亿人民币是常态。」
韩路一知道这些数字,但听赵文渊亲口说出来感觉不一样,毕竟赵文渊是上过手的人。
「三千万人民币,」赵文渊在纸巾上画了个约等号,「四百万美金出头,连一轮预训练的零头都不够。」
「那你有什麽想法?」
「也有别的路,」赵文渊把笔尖点在纸巾上,「做後训练。」
他在「後训练」三个字下面划了条线。
「开源基座模型已经具备通用代码能力了,羊驼模型丶女王模型,都是很好的底子,後训练是在这个基础上做专精。」
」SFT加
…。。本站若有图片广告属于第三方接入,非本站所为,广告内容与本站无关,不代表本站立场,请谨慎阅读。
Copyright © 2020 二零小说 All Rights Reserved.kk