免费阅读
返回
菜单
上一章查看最新章节下一章

第四百四十章 系统一和系统二

作品:首富从看见信息面板开始作者:路大头
如果本章错误,请点击报错10秒纠正

前后不过两分钟,大会议室便清空了,只留下韩路一和江松然两人。

视频里,赵文渊开口问道:“韩总,是因为算力的事儿?我刚才听老江的意思,进度好像不太够吧?”

江松然点了点头,确实不够。

眼下是巧妇难为无米之炊:调度架构做得再好,计算卡总量就这么多,也很难再腾挪出更多算力。

韩路一说道:“留下二位,就是想聊这件事。老江,上次咱们做的调度优化,你先给文渊讲一讲。”

韩路一指的是汤圆1.0模型API正式发售前,基础设施部门在任务调度上做的一些新优化架构。

那段时间的难题是:每个推理任务进来,服务器端都判断不了任务复杂程度,也就没法分配合适资源。大任务分给小资源池,任务完不成,就要重试;反过来,小任务分到大资源池,实际用不上那么多算力,又会造成浪费。

在韩路一建议下,江松然引入汤圆自身来做调度判断。这类判断任务都是小任务,初次判断后就能规避很多失败场景。于是,在相同算力下,起源推理集群能支持的并发量直接增加了三分之一。

但这只是江松然他们在应用端对汤圆的一种用法。现在韩路一把赵文渊叫来,是想看看模型层面还能不能再做些优化,把性能再提一提。

没办法。如果起源也能像谷歌、OpenAI那样算力富裕,甚至能有鼎盛那么多算力,这些软件层面的优化并不急迫,甚至不做也行。

可眼下硬件算力捉襟见肘,就只能从软件层面想办法。

江松然点了点头,把困扰基础设施部门许久的问题说了出来:“用汤圆做初次调度判断,确实极大地提高了资源分配效率,但我们也逐渐发现了两个问题。”

“什么问题?”赵文渊问。

“速度太慢。”江松然说道。当初韩路一提出用汤圆模型做路由时,他就想到了这个问题:每秒钟数万的并发请求,如果每个请求都要提前过一遍汤圆,相当于把请求数直接翻倍。还是韩路一提出了折中方案——对于多步骤请求,只对第一步估算任务难度。

可即便这样,一次估算也要消耗数百毫秒。可别觉得几百毫秒很短:在高并发场景下,这点延迟就可能引发雪崩效应——延迟导致请求超时,超时又引发重试,无效请求增多,甚至让整个服务不可用。

“赵总,汤圆本身是大参数模型,即便采用稀疏架构,一次几百毫秒的用时也不是调度层承受得起的。慢是第

…。。
   本章没完,请点击下—页继续阅读!如果被转码了请退出转码或者更换浏揽器即可。
  温馨提示:亲爱的读者,如果你觉得本站还好,为了避免丢失和转马,请勿依赖搜索访问,建议你使用[华为刘揽器]或[Firefox火狐刘揽器]访问并收蔵【二零小说】 m.20012001.net。我们将会持续为你更新,还建议你注册会员使用书架功能追书阅读更方便。
上一页 123下一页
上一章查看最新章节下一章
临时书架加入书签回顶部↑

看了《首富从看见信息面板开始》的书友还喜欢看

无敌江湖后,我隐退于世
作者:这第七封信
简介: 【不吃牛肉】【无敌】【想干嘛就干嘛】【不压战力】【搞笑】\n少年知意走四方,生死江湖...
更新时间:2026-10-26 21:34:24
最新章节:第218章 给出的许诺
序列公路求生:我在末日升级物资
作者:山海呼啸
简介: 【题材新颖+非无脑爽文+非无敌+序列魔药+诡异+公路求生+升级物资+心狠手辣】\n诡...
更新时间:2026-10-26 21:31:37
最新章节:第1610章 战争,还没有结束
疯批小姐回京后,主母系统失灵了
作者:怀瑾满仓
简介: 众所周知,楚尚书家的大小姐,楚蘅妩是个疯子。在庆阳老宅磋磨了八年。

更新时间:2026-10-26 21:36:00
最新章节:第187章 云州定生乱
从一证永证开始成神
作者:爱吃宵夜的兔
简介: 乱世吃人。弱者连死,都不配留下名字。叶霄出生哑巷,本该和所有‘无名者’一样,活着没人...
更新时间:2026-10-26 21:16:00
最新章节:第631章 威名初显,师门有约
影综,从老九门开始
作者:用户24185143
简介: 张天道,一个意外穿越到民国的现代人,获得地球母亲的馈赠,携带一个小世界,能力是可以触...
更新时间:2026-10-26 21:30:54
最新章节:第103章 陨星塔灭敌,取陨铜。
九帝塔
作者:飞鱼牛牛
简介: 【大神小号】【传统玄幻】【剑道天才】【九大女帝】【微小群像】大乾王朝少年将军,叶玄,...
更新时间:2026-10-26 21:27:02
最新章节:第306章 通天主神,忍不住了
书名:

本站若有图片广告属于第三方接入,非本站所为,广告内容与本站无关,不代表本站立场,请谨慎阅读。

Copyright © 2020 二零小说 All Rights Reserved.kk

SiteMap