占了不少，确实都是训练才用得到，先放一放完全合理。
“再看推理路径。”江松然把光标移到表格前半段，“矩阵乘、LayerNorm、softmax、激活这几类已经标绿。注意力相关的算子在哪？”
赵文渊往下翻了翻，指着一项：“标准Attention，61%。Flash-Attention那一版还没排上。”
“Flash不用，先用标准的，能跑就行。”江松然问，“KV-cache的读写呢？”
“这里，64%。”
“够了。”江松然往后靠了靠，“再加一个采样、一个RMSNorm。这两个简单，融不融合都行，先有了再说。我数一下啊。”
他在表里点了点，停在最后：“差两个。”
赵文渊愣了一下。
他原本打算把所有算子都做到80%，卡住的地方直接呼叫随身老爷爷韩路一；按现在的速度，可能要做到二月底，到时候再做端到端。
可现在被江松然这么一拆——
只差两个了。
“你这……”赵文渊一时不知怎么接话，“这两个我让组里今天就开。”
“不急。”江松然摆摆手，“先用现成脚手架把已经达标的三十四个串起来，跑一遍空载，把链路打通；这两个等做好再补进去。到时候哪儿不对，一目了然。”
赵文渊点头，起身去喊人。
一边走，他一边又有点懊恼：今天又装逼失败了。
——这是哪儿来的神仙啊。
赵文渊把组员都叫过来交代任务：今天就开始搭脚手架，用最小模型拉一条链路，在8卡环境下跑一圈。
周围工程师都是一愣：“今天？”
江松然在旁边补了一句：“跑的时候把Profiler打开。不要只看最后成败；每一步的耗时、等待时间、内存拷贝、通信比例，这些数据都有价值。”
众人还不认识江松然，都看向赵文渊。赵文渊点头，大家才散开。
赵文渊转身对江松然说：“江博士，谢谢你。这个点我确实没想到，还好你现在指出来了。”
江松然脸上毫无骄色：“这不是你的问题，是咱们推进得太快了。”
赵文渊不解：“太快了？”
江松然问：“你知道我们当年做TPU时，花了多久才意识到这个问题吗？”
赵文渊递话：“多久？”
“三
…。。