个当年在谷歌折磨他的噩梦,这次又以更可怕的姿态出现。
在普通人眼里,显卡就是显卡,国外显卡能算,国产显卡也能算,无非性能高些低些。
但对做AI大模型的人来说,显卡可不是单独一块硬件,背后是一整套生态。
最底层是驱动,驱动之上是运行时,再往上是编程模型,编程模型之上是算子库、通信库、编译器、调试器、性能分析工具。
再往上,才是PyTorch、TensorFlow、JAX这些训练框架。
大模型训练又站在这些框架之上,调用各种高度优化的算子和分布式训练能力。
英伟达的CUDA生态就像一座修了十几年的超级城市,水电、消防、医院等基础设施都运转多年。
训练大模型就像在这座城市里办一场大型体育赛事。
数十万游客涌进来,对整个城市的承载能力都是巨大考验;但因为是超级城市,精心调度之下还做得到。
换成别的生态呢?你在大城市旁边的小镇,说我能不能也开个世界杯啊?
当然可以试试,但这不是叫两支足球队过来踢球那么简单:小镇从地下管网到商业生态都得重建一遍,等它也成了超级城市,才行。
更要命的是,全世界的人都已习惯这座老城市的规矩:写代码时默认CUDA可以调用,默认用英伟达显卡,论文里说的也都是在英伟达上才能跑通的用例。
不用英伟达?那你自己试试吧。
本来能跑的代码,把CUDA依赖删掉,一下冒出一千个错误;修完第一个,又冒出一千个。
模型能跑,不代表跑得快;小模型能跑,不代表大模型能跑;单卡能跑,不代表多卡能跑;多卡能跑,不代表千卡集群能稳定训练几十天。
大模型训练最可怕的地方就在这里:不是做到“能跑”就算成功,还必须稳定、高效、鲁棒。
必须在极端昂贵的算力成本下,把每一张卡的利用率挤压到极致。
否则你花了同样的钱,别人训练只要一个月,你训练却要三个月。
或者同样的训练量,别人只需要一千万,你却要烧掉三千万。
最后模型效果还不一定赶得上。
赵文渊潜心研究了两天,越研究越觉得难做。
他发现最大的问题不是技术上完全不可行;恰恰相反,很多东西理论上都有办法做。
但工程量太大了。
…。。本站若有图片广告属于第三方接入,非本站所为,广告内容与本站无关,不代表本站立场,请谨慎阅读。
Copyright © 2020 二零小说 All Rights Reserved.kk