这下舒服了。
【策略:块内重计算(Block-wise recompute)】
【显存读写下降:37%】
效果出来了。
韩路一手指挥动间,刚才的策略改动已变成优雅的代码,仿佛被一只看不见的手输入到屏幕上的代码编辑器里。
接下来是调整数据块大小。
为了让巨大的数据运算可以在很多显卡的很多计算核心上并行,在进入运算管线之前,原始数据必须按一定规则切分;子计算完成后再合并运算,把结果汇总起来。
数据块要切多大,对芯片工程师和算子工程师来说都是不小的挑战;想找到不大不小正合适的点,只能先用数学方法粗算,再一遍遍做工程验证。
如果做纯数学运算不可以吗?
答案是不可以。
现在的GPU芯片,包括电脑CPU或其他计算核心、手机芯片,采用的都是十纳米上下的制程量级。
像L100,是七纳米制程。
这是什么概念呢?
一根头发丝直径大约七万纳米。也就是说,把一根头发丝横切开来,可以并排放下整整一万根七纳米的晶体管。
在这个尺度下,传统经典物理学已经开始失效。
电子不再老老实实沿预设路径运动,它们会隧穿,会跨越本不该跨越的绝缘层,直接跑到不该去的地方。
这意味着,你用数学推导出的“最优方案”,实际跑起来往往达不到理论极限。
物理世界会在最后一步打个折扣,而折扣打多少,每一块芯片都不完全相同。
所以工程师规划数据块切分时,必须留冗余;冗余留多少,就要靠真实数据来校准。
单是这一步要花的时间,就要以月计算。
但对韩路一来说,这是一目了然的事。
他伸出手,手指轻轻一捏,视界中虚拟的数据块就相应变小,传送带上的流动也更顺畅;可数据块太小,运算核心的负载也肉眼可见地降了下来,大量空转让核心发出冷峻的嗡嗡声。
从视界数据看,整体数值吞吐量反而下降了。
然后他的手指又微微张开,数据块相应变大,传送带上变得更密集,整个流水线的运转效率再次提升。
很快,传送带开始承受压力,眼看就要崩溃。
这时,韩路一的手指停了下来。
这就是最佳大小了。
…。。本站若有图片广告属于第三方接入,非本站所为,广告内容与本站无关,不代表本站立场,请谨慎阅读。
Copyright © 2020 二零小说 All Rights Reserved.kk