护性的建议。」
听到「陈总」两个字,韩路一恍惚了一下,他还以为是陈博文。
然後他才意识到,姜亦心指的是陈建业。
哦,对了,他升技术负责人了。
韩路一又表扬了姜亦心两句,给小姜夸的都不好意思了才离开。
他还要去十三楼模型组的地方找赵文渊。
……
「文渊,你说的不太顺利,具体是指什麽?」韩路一问道。
「韩总,国产适配的事,恐怕不可行。」赵文渊苦着一张脸,开口道。
「技术上有难度?」韩路一挑了挑眉,已经准备自己开视界上了。
「不是。」赵文渊叹了口气,「工程量太大了。」
「CUDA做了十几年的生态,你让我带着模型组这几个人,别说适配生态了,一个算子的迁移都搞不定。」
韩路一倒是不觉得意外。
生态要是好做,国内的这些硬体厂商早做完了,哪还有这些问题?
「拿个例子来看看。」韩路一说。
赵文渊觉得韩路一有点儿多此一举。
就算你再能写,也不能让你一个一个写过去啊。
况且你不是已经在做标注了吗?
赵文渊没把这些话说出来,乖乖的从代码库里找出了一个算子的代码做例子。
scaled_dot_product_attention
这是变形金刚(Transformer)架构中比较重要的一个算子,可以说没有这个就做不了大模型。
「N卡那边有专门的函数,性能和精度都做过深度优化,我手头连个等价实现都没有。」
韩路一拉过一个椅子坐在电脑前,接过滑鼠,打开浏览器把相关的CUDA原始码、国产显卡的IR文档、HCCL SDK都打开来。
赵文渊在旁边看的一愣:
「韩总,你要干什麽?——你不会是要,自己写吧。」
韩路一头也没抬:「试一试。」
试一试?赵文渊心里吐槽,韩总,这可是一个团队几个月的工作量。
韩路一已经打开视界,把CUDA实现中的几个关键地方都扫了出来,然後把要适配国产显卡的要点总结了一下。
接着韩路一在赵文渊的电脑上打开了姜亦心的AI智能体编程工具。
但他没把视界看到的关键信息都输进去。
…。。本站若有图片广告属于第三方接入,非本站所为,广告内容与本站无关,不代表本站立场,请谨慎阅读。
Copyright © 2020 二零小说 All Rights Reserved.kk