汤圆模型已在云垠这批由硅明生产的L100上完成远程试部署:算子适配做完,单卡与小集群均无问题。
韩路一和赵文渊这趟过来,就是做最后一步验收;最关键的一环,是压力测试。
所谓压力测试,就是一次性发出大量请求,看现有架构最多能支撑多少人同时使用。
按计划,御风的推理数据要在两周内全部迁上来。时间紧,中间一点差错都不能出。
御风眼下注册用户两百多万,日活二十万;单是这份用量,就快把五百张显卡的算力吃满了。
幸好鼎盛那边送来的两千张卡快到位,下一步扩容有了方向。可那是另一家的国产卡,算子和指令集与L100重合不多;真要用起来,在L100上做过的工作就得重做一遍。
这么一看,英伟达CUDA体系的价值就显出来了:生态一旦建立,迁移成本高得可怕。
韩路一倒不慌。出问题正常,有他在,总能解决。
“现在数据是多少?”
“每秒请求数(QPS)是十六。”
韩路一挑了挑眉。来之前他们测算过:要撑起二十万日活,每个用户每天不止发一条,多的可能几十条请求。
每秒请求数至少得在三十以上。
现有架构理论上能跑到五十;即便算上调度、通信、框架这些损耗,保守估计也能到四十以上。
现在只有十六,刚好是最低标准的一半。
赵文渊一边说,一边把电脑里的后台视图、监控曲线、输出日志都打开,铺在桌面上。
“江松然联系过了吗?”
“刚发过信息,他还在看。”
江松然还在海城。入职时韩路一保证过,绝不让他出差;所以事情再大,这趟也没带他过来。
“开个视频,一起看看,快一点。”韩路一说。
刘彧已经用手机拨通了视频。
画面里,江松然看起来也正忙,头发很乱,背景是他的卧室。从早晨接到赵文渊的消息起,他就一直没闲着。
“韩总,GPU利用率我们看过了,基本满负荷,问题不在这儿。”
每张卡看着都在干活,产出却不快。
江松然和赵文渊又一起查驱动日志。
软件层面看,一切正常。
最后,赵文渊把模型配置调出来,和江松然一起看。
配置没问题。
模型切分没问题。
…。。本站若有图片广告属于第三方接入,非本站所为,广告内容与本站无关,不代表本站立场,请谨慎阅读。
Copyright © 2020 二零小说 All Rights Reserved.kk