韩路一又想了一会儿,说:“现在的技术挑战都在任务编排上——这个编排规则必须提前写死吗?”
江松然闻言一惊。
韩路一接着说:“之前做电力任务时,就是让汤圆做调度中枢的。任务分配的调度,能不能也让汤圆来做?”
江松然仔细琢磨了一下。
动态调度确实是他们探索的另一个方向,但直接让汤圆参与可能并不成熟。AI眼下的一个问题就是速度慢、并发量上不去;而随着汤圆模型调用量越来越大,调度判断可能达到每秒几万甚至几十万次。
“韩总,调度逻辑比较复杂,直接交给模型来做,并发可能上不去。”江松然回答。
韩路一看着屏幕上的实时数据说:“我不是算力基础设施方面的专家,说错了你可以纠正我。现在的问题是任务复杂程度不好提前判断,对吧?那如果不把调度权交给汤圆,只让它判断任务复杂度呢?”
对啊!
江松然之前钻了牛角尖:写死规则的调度层性能好,却不够智能;完全交给汤圆来做,性能又不好。
但是,如果不是直接让汤圆做调度逻辑呢?
如果把判断任务难度作为调用链的起点呢?
江松然思路一开,新想法忽然都涌了出来。
“韩总,之前我们没考虑过这个方向;但您提了之后,我觉得值得一试。”江松然说,“直接让汤圆做调度确实不太现实,但我们完全可以在第一个任务里,让汤圆对总任务流程的复杂程度做个预测,之后在调用链的每一步都把这个判断带给调用层。”
韩路一点头:有方向就好。
“这样一来,任务分级,算力也分级,现有算力的调动效率还能再提高——”江松然说到一半停住。
“提高多少?”韩路一问。
江松然苦笑:“这个我手头现在没数据,等测试完再向您汇报。”
“好,算力的事交给你,有阶段性进展就跟我汇报。”韩路一说。
说完,他起身走了出去。
他看了看表,该下班了。
……
海城司衡律师事务所。
办公区里,已经有律师和实习律师开始收拾东西准备回家。
最近两个月,大家的日子过得都不错。
因为主任加班少了,大家也不用守在办公室加班。
当然,活儿并没变少,只是能把电脑带回家干。
毕
…。。本站若有图片广告属于第三方接入,非本站所为,广告内容与本站无关,不代表本站立场,请谨慎阅读。
Copyright © 2020 二零小说 All Rights Reserved.kk