看了一遍。
精度误差是2.3e-6,远低于1e-5的要求。
性能也达到了N卡实现的83%。
不信邪的赵文渊直接打开生成的原始代码,逐行看了起来。
他越看越沉默。
整段代码的结构和之前一次生成的大差不差,但所有需要经过大量测试才能得出来的结论都被替换成了新值,而这些新值导致了结果的变化。
这是一个对底层硬件有深刻理解的人才能写出来的东西。
不,准确地说,是一个对底层硬件有深刻理解的人,才能指导AI写出来的东西。
赵文渊转过头,看着韩路一。
“韩总,这些值,你都是怎么确定下来的?你怎么知道它们能过?”
韩路一往后靠在椅背上,微微一笑:“我看了文档。”
“我去,原来你看了文档啊,不早说。”赵文渊先开了个玩笑,然后声音突然拔高,“我也看了两天文档,跑了十几个测试,我都没找到这个tile尺寸,你看了几分钟就看出来了?”
韩路一没有回答,只是接着笑。
赵文渊盯着他看了好一会儿,最后像泄了气一样靠回椅子上。
“行吧。”他叹了一口气,说道,“我不问了。”
他之前不是没想过用AI来做这些工作,但AI根本做不了。每次跑出来的结果,不是卡死,就是偏差太大。
怎么韩路一一上手就好用了?
赵文渊现在只想火速删掉发给韩路一的那个共享文档的标题。
韩路一在他眼前,把他觉得不可能的事情做出来了。
如果这个不是偶然呢?
如果scaled_dot_product_attention可以这样做,那其他算子呢?
什么暂无可行性啊?
什么叫“别想了,没戏”啊?
这不是有戏了吗?
他现在非常想让那个前同事过来现场看看。
本站若有图片广告属于第三方接入,非本站所为,广告内容与本站无关,不代表本站立场,请谨慎阅读。
Copyright © 2020 二零小说 All Rights Reserved.kk