论文。
江松然心中一动:如今非CUDA适配这么热门了?其他领域的研究者也跨界来研究?还真是天下苦英伟达久矣。
他又退回去看团队名:Source Intelligence AI,一个没听过的中国公司。
江松然生出一种复杂的感觉:这也是在做算力国产化,里面到底有多少真东西?又有多少是噱头?
最终,他还是点开看了。
最打动他的,是这篇论文只有一个作者。
在工业界做过科研的人知道,公司发论文很少出现单作者。不是说一个人做不了研究,可既然公司赞助了研究,相关方总得挂个名吧?
单作者很少见:要么真没有团队,要么公司不在乎,只给主要研究者署名。
无论哪种情况,这篇论文都值得一看。
PDF加载出来,江松然先看摘要。
“本文报告了一款国产非CUDA加速器上内存高效注意力机制的端到端实现:在单节点8卡配置下,吞吐达到对应cuDNN参考实现的83%,数值误差在2.3e-6以内。”
看完摘要,江松然在心里嗤了一声。
这数据,注水了吧。
既然已经打开,他还是耐着性子往下看。
出乎意料,论文结构清晰,数据详实,用词严谨;实现一节甚至给出具体优化方法和一些代码片段,有心的话,复现起来应该很容易。
但最触动江松然的,还是局限性那一节。作者诚恳写道:“本工作只完成了单算子(SDPA)的实验性适配工作,没有涉及LayerNorm、Softmax以及各类Optimizer等数十个其他算子;没有涉及多卡间通信库;也没有涉及训练场景下的反向传播与混合精度优化,所以还不能构成一套可用的训练栈。”
江松然叹了口气:这个作者一句话就把他们这些研究者的困境写透了。
这种吃力不讨好的事,国内竟真有人做。是,你可以一个一个研究,研究出一个,还能发一篇论文。
可整套生态里,只要有一个关键算子没做完,就真没什么用。
这种活儿江松然熟得很,谷歌TPU团队的头两年就是这么熬出来的。
只不过谷歌当年有几百名工程师;这个叫Source Intelligence的团队有多大?又投了多少资源?
江松然在心里默算:从论文提到的内容,到从头做出一套国
…。。本站若有图片广告属于第三方接入,非本站所为,广告内容与本站无关,不代表本站立场,请谨慎阅读。
Copyright © 2020 二零小说 All Rights Reserved.kk