¼Ÿ”
韩路一想了想,说:“我说一句。开会要开到点上。在场谁若觉得自己不能在这场会议里贡献意见,只是来跟进进度,可以先离场;之后看会议记录也一样,不用在这儿浪费时间。”
韩路一说完,看了一圈,倒是没有人离场。
他接着说道:“还有,每场会议开始前都该有预期产出。我刚才听了一下,这场会开完会把合作计划和排期定下来,是吧?会议结束时记得总结一下。”
说完,韩路一对着屏幕点了点头:“小牛,开始吧。”
小牛站起身,清了清嗓子,说道:“韩总,江总,我先给大家做一遍演示。”
小牛共享屏幕,做了一遍演示,内容和高管例会上赵文渊做的基本一样。海城会议室里,基础设施部门的员工都是第一次看到成果,心中初步满意,却不免仍有怀疑。
单个请求做得又快又好,只是不知道并发上来后表现如何,又会占用多少资源。
豆汁儿要代替汤圆做调度辅助,除了精度不能拉胯,自身也不能太耗算力——不然省出来的算力全用来跑调度器,就完全没意义了。
江松然率先提出这个问题:“这个豆汁儿模型想支持十万QPS,需要多少算力、多少资源?”
目前整个起源自有算力的吞吐量大概就在十万QPS这个量级,江松然才有此一问。
这是把豆汁儿接入每一个调度请求所需要的资源。
小牛拉出一张图表:“江总,我们做过压测,自己使用的八卡L100大概能做到两万四千QPS。”
这个数字让海城会议室的人一惊。
那岂不是说,就算加上资源冗余,要服务整个起源所有推理请求的调度,也只需四十张L100左右的算力?
这个豆汁儿模型也太小太省算力了吧。
江松然对身边的基础设施总监陶封说:“老陶,刚才赵总那边说,豆汁儿模型的判断准确率能到98%。按这个数据估算,如果现在把每一步算力调度都跑一遍豆汁儿模型,照我们之前的估算,大概能提高多少效率?”
陶封在面前的笔记本电脑上迅速操作了几下,回答:“我们之前测算过,总体算力约有百分之三十因资源错配被浪费;若真能达到这个准确率,应该至少能救回百分之二十。”
两个数据中心目前一共部署了三万张左右计算卡,若能从里面优化出百分之二十的性能,就等于凭空多出六千张卡。
四十张卡,能
…。。本站若有图片广告属于第三方接入,非本站所为,广告内容与本站无关,不代表本站立场,请谨慎阅读。
Copyright © 2020 二零小说 All Rights Reserved.kk