了。”刚被打断的拒绝,加上那个脑残电话,反倒让江松然想听听韩路一要说什么。
他看了看四周,住院部外有个小花园,摆着几张长椅。
冬天室外没什么人,江松然指着一张长椅:“去那儿说。”
两人在长椅上坐下,韩路一从双肩包拿出电脑。
他打开电脑,对江松然说:“我的来意您应该已经知道了,想邀请您加盟源智科技。在您答复之前,我想先给您看点儿东西。”
说完,韩路一打开一个代码仓库页面,看样子是自托管的。
江松然觉得这页面有点儿眼熟。
等韩路一打开其中一个名为SDPA(scaled dot product attention)的文件夹,江松然意识到,这不就是他刚看的那篇论文吗?
Wenyuan Zhao,Source Intelligence AI。
怪不得觉得耳熟,原来就是源智科技。
江松然不由得生出好感:这是个干实事的团队。
可他又觉得更不相关:自己的领域明明是大规模集群管理,偏工程向;源智科技若做硬件适配,找自己干什么?
“这位Wenyuan Zhao是?”江松然问道。
“他是我们的首席科学家。”韩路一出声,“您可以看看我们的成果。”
江松然把目光移回屏幕,这才注意到仓库里还有别的文件夹。
SDPA、LayerNorm、RMSNorm、Softmax、GELU、SiLU、Rotary Embedding、FlashAttention、AdamW、All-Reduce。
一共十个文件夹,各对应一个算子的完整实现。
江松然的手指不自觉点向触控板,又停住——这不是他的电脑。
“您可以自己看。”韩路一重复了一遍刚才的话。
江松然这才开始翻看。
他先点开SDPA文件夹,和论文里的实现对照,确认是同一套代码。
随后翻看别的算子实现。
看了两个之后,他皱起眉头。
“这些跑过benchmark吗?”
韩路一说:“是的,每一个算子都有对应的性能测试,和N卡cuDNN的基准线对比,最低的80%,最高的91%,README里都有完整数据。”
江松然没想到能
…。。本站若有图片广告属于第三方接入,非本站所为,广告内容与本站无关,不代表本站立场,请谨慎阅读。
Copyright © 2020 二零小说 All Rights Reserved.kk