无非是简单、中等、复杂三档，想要分得再细致一些，五档也绰绰有余了。
韩路一开口问道：「所以这类任务，有比使用汤圆的轻量版更好的解法?」
视频里的赵文渊露出一副高深莫测的笑容：「有的，韩总，有的。」然後他开始解释道：「当初 transfrmer架构刚出来的时候，用的是编码器-解码器 (encer-ecer)架构，但是现在的类pt架构的大模型，包括汤圆，全都使用的是只有解码器的架构。这当然是因为这个路线足够优秀，能够解决非常复杂的问题。但是实际上不同的路线适用的是不同的问题，我们刚才讨论的这种分类问题，有一种更适合的架构，就是只有编码器的架构。」
江松然此时惊讶地出声道：「你是说bert?」
韩路一慢了一拍才反应过来。bert是谷歌在2018年提出的一种技术路线，在pt出来之前也曾经在机器学习领域非常热门，但是随着类pt模型成为市场主流，现在已经渐渐没什麽提起了。
「你是说?」韩路一问道。
「传统的bert大概是在几亿参数这个级别，而且因为不需要自回归生成预测，它不需要反覆地进行前向运算，只需要一次就能得出结论，对於我们刚才说的分类任务，完全可以做到50毫秒以内。」
「多少?」江松然的呼吸都变得急促了。
「还不止，我刚才说的是通用分类器，使用这个思路，我们完全可以训练对调度任务进行特化的分类器，汤圆api开放到现在我们积攒的调度数据就足够进行训练了，这种情况下我们连几亿的参数都不需要，可以把参数压缩到千万这个级别，这种模型的一次运算——」
赵文渊一口气说了一大段话，也是越说越兴奋，说到这特意停顿了一下，才伸出两只手，五指张开，说道：「我说一个数，10毫秒。」
「不可能！」江松然脱口而出。
韩路一倒是没有表态，现在还只是在讨论技术方向，10毫秒的任务分类确实很夸张，这个速度都能赶上用代码写死的规则集分类了，更别提用模型动态分类了。
但是即使达不到10毫秒，50毫秒也足以让每一次任务调度都跑一次这个新的分类器模型了，如果还能保持现在汤圆1.0的精确度的话，整个调度层的效率还能再往上提一大截。
同样的硬体，同样的算力集群，通过这种优化就可以发挥出比之前高好几成的效果来。「文渊，这个技术思路你想了
…。。