免费阅读
返回
菜单
上一章查看最新章节下一章

第五百零五章 庆功宴

作品:首富从看见信息面板开始作者:路大头
如果本章错误,请点击报错10秒纠正

“对,是MoE,但不是普通的MoE。”

“讲讲。”

赵文渊说:“之前业内通行的混合专家方案,是把前馈网络分成几个专家模型并行参与计算,这中间会造成大量重复知识。我们这次提出了一个共享专家角色:大量共通知识交给共享专家,特定类型的任务再由专门专家模型负责,尽量避免重复学习造成的浪费,专家领域分类也能变得更细。”

江松然的注意力也被吸引过来,插嘴问:“那不是还要解决不同专家之间负载均衡的问题?专家变多,这个问题也变得更难了吧?”

说到这儿,他意识到了什么;果然,旁边的赵文渊笑道:“我们最近在路由方面可是积累了不少经验啊。”

赵文渊之前走基于编码器BERT的路线,做出了豆汁儿模型:参数小、运行快,对给定小范围输出的任务表现很好。这个新模型如今在算力分配的路由任务中承担着重要作用,凭空把算力利用效率提升了一大截。

也怪不得他又把这个灵感带回了超大规模模型的训练架构中。

具体实现方式虽不同,但如何在不同节点间分配任务、避免负载集中,这些底层原理毕竟相通。

“那最终大概能有多大提升?”韩路一问。技术上的突破,最终还是要转化为性能提升才有价值。

赵文渊想了想,说:“保证同样激活参数量的情况下,模型容量至少在1.0的两倍以上。”

韩路一挑了挑眉。

汤圆1.0现在的参数是一万亿出头;两万亿的参数,各项指标又会有什么变化?

当然,不是说参数越多结果就一定越好,但这确实带来了可能性。

韩路一对汤圆2.0的预训练结果也期待起来。

韩路一最近精力都放在算力上,对赵文渊那边的进度确实关注不足,可模型研发的重要性毋庸置疑。

起源能有今天,模型能力才是根本。

三人讨论的内容,做芯片的薛兆恒已经不太跟得上;另一侧的三位女士则完全没有参与这场讨论。

作为起源总裁,苏念念还试图多了解些技术细节,最后还是放弃了。

这时,苏念念余光看见顾司玥递了什么东西过来。她低下头,才发现自己餐盘上放着一个卷得很精致的烤鸭卷饼。

是顾司玥包好放过来的。

苏念念转过头,发现刚结束谈话的韩路一正从盘子里拿起一个一模一样的卷饼往嘴边送。

…。。
   本章没完,请点击下—页继续阅读!如果被转码了请退出转码或者更换浏揽器即可。
  温馨提示:亲爱的读者,如果你觉得本站还好,为了避免丢失和转马,请勿依赖搜索访问,建议你使用[华为刘揽器]或[Firefox火狐刘揽器]访问并收蔵【二零小说】 m.20012001.net。我们将会持续为你更新,还建议你注册会员使用书架功能追书阅读更方便。
上一页 12345下一页
上一章查看最新章节下一章
临时书架加入书签回顶部↑

看了《首富从看见信息面板开始》的书友还喜欢看

无敌江湖后,我隐退于世
作者:这第七封信
简介: 【不吃牛肉】【无敌】【想干嘛就干嘛】【不压战力】【搞笑】\n少年知意走四方,生死江湖...
更新时间:2026-10-26 21:34:24
最新章节:第218章 给出的许诺
序列公路求生:我在末日升级物资
作者:山海呼啸
简介: 【题材新颖+非无脑爽文+非无敌+序列魔药+诡异+公路求生+升级物资+心狠手辣】\n诡...
更新时间:2026-10-26 21:31:37
最新章节:第1610章 战争,还没有结束
疯批小姐回京后,主母系统失灵了
作者:怀瑾满仓
简介: 众所周知,楚尚书家的大小姐,楚蘅妩是个疯子。在庆阳老宅磋磨了八年。

更新时间:2026-10-26 21:36:00
最新章节:第187章 云州定生乱
从一证永证开始成神
作者:爱吃宵夜的兔
简介: 乱世吃人。弱者连死,都不配留下名字。叶霄出生哑巷,本该和所有‘无名者’一样,活着没人...
更新时间:2026-10-26 21:16:00
最新章节:第631章 威名初显,师门有约
影综,从老九门开始
作者:用户24185143
简介: 张天道,一个意外穿越到民国的现代人,获得地球母亲的馈赠,携带一个小世界,能力是可以触...
更新时间:2026-10-26 21:30:54
最新章节:第103章 陨星塔灭敌,取陨铜。
九帝塔
作者:飞鱼牛牛
简介: 【大神小号】【传统玄幻】【剑道天才】【九大女帝】【微小群像】大乾王朝少年将军,叶玄,...
更新时间:2026-10-26 21:27:02
最新章节:第306章 通天主神,忍不住了
书名:

本站若有图片广告属于第三方接入,非本站所为,广告内容与本站无关,不代表本站立场,请谨慎阅读。

Copyright © 2020 二零小说 All Rights Reserved.kk

SiteMap