“对,是MoE,但不是普通的MoE。”
“讲讲。”
赵文渊说:“之前业内通行的混合专家方案,是把前馈网络分成几个专家模型并行参与计算,这中间会造成大量重复知识。我们这次提出了一个共享专家角色:大量共通知识交给共享专家,特定类型的任务再由专门专家模型负责,尽量避免重复学习造成的浪费,专家领域分类也能变得更细。”
江松然的注意力也被吸引过来,插嘴问:“那不是还要解决不同专家之间负载均衡的问题?专家变多,这个问题也变得更难了吧?”
说到这儿,他意识到了什么;果然,旁边的赵文渊笑道:“我们最近在路由方面可是积累了不少经验啊。”
赵文渊之前走基于编码器BERT的路线,做出了豆汁儿模型:参数小、运行快,对给定小范围输出的任务表现很好。这个新模型如今在算力分配的路由任务中承担着重要作用,凭空把算力利用效率提升了一大截。
也怪不得他又把这个灵感带回了超大规模模型的训练架构中。
具体实现方式虽不同,但如何在不同节点间分配任务、避免负载集中,这些底层原理毕竟相通。
“那最终大概能有多大提升?”韩路一问。技术上的突破,最终还是要转化为性能提升才有价值。
赵文渊想了想,说:“保证同样激活参数量的情况下,模型容量至少在1.0的两倍以上。”
韩路一挑了挑眉。
汤圆1.0现在的参数是一万亿出头;两万亿的参数,各项指标又会有什么变化?
当然,不是说参数越多结果就一定越好,但这确实带来了可能性。
韩路一对汤圆2.0的预训练结果也期待起来。
韩路一最近精力都放在算力上,对赵文渊那边的进度确实关注不足,可模型研发的重要性毋庸置疑。
起源能有今天,模型能力才是根本。
三人讨论的内容,做芯片的薛兆恒已经不太跟得上;另一侧的三位女士则完全没有参与这场讨论。
作为起源总裁,苏念念还试图多了解些技术细节,最后还是放弃了。
这时,苏念念余光看见顾司玥递了什么东西过来。她低下头,才发现自己餐盘上放着一个卷得很精致的烤鸭卷饼。
是顾司玥包好放过来的。
苏念念转过头,发现刚结束谈话的韩路一正从盘子里拿起一个一模一样的卷饼往嘴边送。
…。。本站若有图片广告属于第三方接入,非本站所为,广告内容与本站无关,不代表本站立场,请谨慎阅读。
Copyright © 2020 二零小说 All Rights Reserved.kk