从会议室出来后,韩路一和苏念念一起进了他的办公室。
两人正准备就方才那场视频会议商量应对策略。
这时,门外忽然响起一阵急促的敲门声。
“韩总,在吗?”
是赵文渊的声音。
韩路一和苏念念对视一眼。
韩路一走过去开门,赵文渊抱着笔记本电脑站在门外,一脸兴奋。
“韩总!真神了!”他边说边走进来,这才注意到苏念念也在,明显一愣。
随即神色松下来,把笔记本电脑搁在办公桌上。
“正好,苏总也在,一起看看。”赵文渊说,“第一轮训练结果出来了。”
他掀开屏幕,手指在触控板上飞快一划,调出一张表格。
“先看基础数据。”赵文渊切到第一页,“先打个预防针啊:7B的开源基座微调,参数量不到GPT的二十分之一。知识问答、逻辑推理、数学计算这些常规指标,在同量级模型里也就是中游偏上,更没法跟那些几千亿的大家伙比。”
说着,他瞥了韩路一一眼,等着看反应。
“但注意,重点在下一页。”
话落,他把表格翻到第二页。
屏幕上是一张柱状图:横轴排着十几个模型名,纵轴是分数。
韩路一认出了几个:GPT、Mercury、Gemini。
它们旁边的柱子高度相近,分数集中在71到78之间。
唯独最右边一根浅蓝色柱子单独拔高,明显比其余的都高一截。
这个模型的名字是PX-7B-post_trained-v0.1。
柱顶标着83.7。
赵文渊的声音里压不住兴奋:“这是单看意图理解维度的结果,评测集用IFEval标准框架,再加上我自己设计的深层意图还原测试,一共一千二百道题,覆盖十六个不同场景。”
他用手指点了点那根浅蓝柱子。
“看见了吗?83.7。”
韩路一当然看见了,也留意了第二、第三名。
GPT是78.2。
Gemini是76.9。
他还特意扫了一眼水星的分数——就是刚才瑞恩展示的那个——这一项是74.8。
赵文渊问:“韩总,猜猜哪个是我——不,是咱们训练出来的模型?”
韩路一露出无奈的神情。
…。。本站若有图片广告属于第三方接入,非本站所为,广告内容与本站无关,不代表本站立场,请谨慎阅读。
Copyright © 2020 二零小说 All Rights Reserved.kk