第四百四十章系统一和系统二
前後不过两分钟的时间，大会议室就清空了，只留下韩路一和江松然两人。
视频里的赵文渊开口问道：「韩总，是因为算力的事儿?我刚才听老江的意思，进度好像不太够吧?」
江松然点了点头，确实不够。
现在是巧妇难为无米之炊，调度架构做得再好，总的计算卡就这麽多张，很难再腾挪出更多的算力了。
韩路一说道：「把你们两个留下来就是想聊这件事，老江，上次咱们做的调度优化，你先给文渊讲一下。」
韩路一说的是在汤圆1.0模型的api正式发售之前，基础设施部门在任务调度上做的一些新的优化架构。
当时碰到的难题是每一个推理任务进来，伺服器端都没办法判断任务的复杂程度，也就没法分配合适的资源，如果把大任务分配给了小资源池，任务完成不了，就要重试；反过来，如果把小任务分配给了大资源池，实际上用不上那麽多算力，就造成了资源的浪费。
在韩路一的建议下，江松然引入了用汤圆自身来进行调度判断，这种判断任务当然都是小任务，初次判断之後就能规避很多失败场景。因此在相同的算力下，起源的推理集群能支持的并发量直接增加了三分之一。
但这是江松然他们在应用端对汤圆的一种应用方式，现在韩路一把赵文渊叫过来，是想看看在模型层面上能不能再做一些优化，把性能再提高一些。
没办法，如果起源也能像谷歌、penal一样算力富裕，甚至能有鼎盛那麽多算力也行，那麽这些在软体层面的优化就并不急迫，甚至不做也行。
但是现在硬体方面的算力捉襟见肘，就只能从软体层面想办法了。江松然点了点头，把困扰基础设施部门许久的问题说了出来：「用汤圆来做初次的调度判断确实极大的提高了资源分配的效率，但是我们也逐渐发现了两个问题。」
「速度太慢了。」江松然说道，当初韩路一提出用汤圆模型来做路由的时候他就想到了这个问题，每秒钟数万的并发请求，如果每一个请求都要提前过一遍汤圆，相当於直接把请求数翻倍了。还是韩路一提出了一个折中的方案，对於多步骤的请求，只对第一步进行任务难度的估算。
但即使是这样，一次估算也要消耗数百毫秒的时间。可别觉得几百毫秒很短，在高并发场景下，几百毫秒的延迟可能就会引发雪崩效应——延迟导致请求超时，超时又会引发重试，无效请求增
…。。