它调到80%以上;但如果目标是三月初跑通第一批国产卡集群,现在最不该做的就是继续死磕这个点。”
赵文渊神色认真起来:“那应该做什么?”
“跑端到端。”
江松然点开屏幕上的几个文件夹:“把已经达标的算子拉出来,先组一条最小链路。模型可以小,分片可以小,数据可以用假的;但链路必须完整,端到端调试必须跑通。”
他边说边在白板上写:模型加载、前向、反向、梯度同步、优化器更新、检查点备份、恢复。
七个步骤一气呵成,中间没有停顿。这几年他做的事全在这条链上,相关知识以及实践中可能遇到的问题,早已烂熟于心。刚才写流程图,最花时间的反而是把这些词的英文一一对应成中文。
流程图写完,江松然开口:“三月初虽然只跑推理,但训练才是大头,端到端必须现在就摸清;不然到时候再补,就来不及了。咱们现在用的“算子打靶法”是对的,可既然时间紧、任务重,这个阶段最重要的是有大局观,从宏观上把优先级调好。”
他边说边用马克笔在白板上点了点:“否则,每个人都在优化自己手里的算子;等最后拼起来,真正的瓶颈才会冒出来——到那时就晚了。”
赵文渊盯着白板,陷入沉思。
江松然是对的。
迄今为止,他带团队做的都是“点”上的工作,一个算子一个算子地推进。
这当然必要——没有那些必须的点,就不可能连成线。
可系统训练不只需要点;要想连线时不出错,现在就得开始连了。
赵文渊算是见识到江松然的厉害了:入职第一天上午,项目进度都没看全,他就把当前路线最大的隐患指了出来。
赵文渊转过椅子,面对江松然:“江博士,你觉得我们现在应该怎么办?”
江松然理了理思路,回答:“如果第一阶段的目标只是跑推理,就没必要追求N卡80%的效率,反正也用不满;优先把必要的算子做完、跑通。我刚看了一下,除了十个已经标绿的,还有二十三个过了60%的线。”
说到这儿,江松然低头看了眼屏幕,自己纠正:“二十四个,加起来三十四个。”
他坐回椅子,往屏幕前挪了挪,开始在表格里圈算子。
“反向、优化器更新、梯度同步这几类先往后排:三月初的推理用不到,等四月调训练时再回来做。”
赵文渊点头。这几类在表里
…。。本站若有图片广告属于第三方接入,非本站所为,广告内容与本站无关,不代表本站立场,请谨慎阅读。
Copyright © 2020 二零小说 All Rights Reserved.kk