韩路一又表扬了姜亦心两句,夸得小姜都不好意思了才离开。
他还要去十三楼模型组找赵文渊。
……
“文渊,你说的不太顺利,具体是指什么?”韩路一问道。
“韩总,国产适配的事,恐怕不可行。”赵文渊苦着一张脸开口道。
“技术上有难度?”韩路一挑了挑眉,已经准备自己开视界上了。
“不是。”赵文渊叹了口气,“工程量太大了。”
“CUDA做了十几年的生态,你让我带着模型组这几个人,别说适配生态,一个算子的迁移都搞不定。”
韩路一倒不觉得意外。
生态要是好做,国内这些硬件厂商早做完了,哪还有这些问题?
“拿个例子来看看。”韩路一说。
赵文渊觉得韩路一有点儿多此一举。
就算你再能写,也不能一个一个写过去啊。
况且你不是已经在做标注了吗?
赵文渊没把这些话说出口,乖乖地从代码库里找出一个算子的代码做例子。
scaled_dot_product_attention
这是变形金刚(Transformer)架构中比较重要的一个算子,可以说没有它,就做不了大模型。
“N卡那边有专门的函数,性能和精度都做过深度优化,我手头连个等价实现都没有。”
韩路一拉过一把椅子坐在电脑前,接过鼠标,打开浏览器,把相关的CUDA源代码、国产显卡的IR文档、HCCL SDK都打开来。
赵文渊在旁边看得一愣:
“韩总,你要干什么?——你不会是要、要自己写吧?”
韩路一头也没抬:“试一试。”
试一试?赵文渊心里吐槽:韩总,这可是一个团队几个月的工作量。
韩路一已经打开视界,把CUDA实现中的几个关键地方都扫了出来,然后把要适配国产显卡的要点总结了一下。
接着,韩路一在赵文渊的电脑上打开了姜亦心的AI智能体编程工具。
但他没把视界看到的关键信息都输进去。
他想先看一眼,仅靠模型自己能做到什么程度。
他输入了第一段提示词:
“把这个CUDA算子翻译成国产卡IR实现。要求精度误差小于1e-5,性能不低于N卡实现的70%。使用下面三
…。。本站若有图片广告属于第三方接入,非本站所为,广告内容与本站无关,不代表本站立场,请谨慎阅读。
Copyright © 2020 二零小说 All Rights Reserved.kk