韩路一刚提过苏念念，其实也给自己安排了视频会议。
和赵文渊。
赵文渊请假后就没再去办公室，最近一直在家搭数据管线——鼎盛那边的程序走完前，先把准备工作做起来。
两人先过了一遍训练策略。会议结尾，韩路一问起时间线。
“文渊，鼎盛那边的账户大概这两天就能配好，你这边什么时候能开跑？”
电话那头，赵文渊停顿片刻，像在组织语言，才开口：“韩总，就算算力到位，开跑前还有一道坎。”
“什么坎？”
“上周五跟你说的，预训练数据的预清洗。”
韩路一坐在办公桌前想了想，是有这么回事。
“咱们现在手里有什么？坎在哪？”他问。
“有CommonCrawl里的数据，还有公共版权的书籍资料。我想在清洗这块优化一下，搞了几天还没头绪。”赵文渊解释。
“嗯……我晚上回去看看。”
挂断视频，韩路一在办公室里思索起来，随即想起赵文渊的属性面板。
【赵文渊】
【技术S（研究SS）｜协作C｜稳定A】
【特技：大模型训练｜大模型后训练】
后训练是他的强项，预训练这边可能就没那么熟。
当然，大模型出来几年，论文发了那么多，大家没吃过猪肉也见过猪跑。技能可以迁移，摸索摸索，预训练没那么难。
想从头做大模型，真正的瓶颈还在数据和算力。
数据分两块：原始数据和标注数据。
标注数据这块，靠视界，韩路一已经拿到世界顶尖的标注。数量还不太够，但肝一肝总会有的。
原始数据还得想办法。
一般厂商的数据来源主要有几个：除了出版物或特定行业资料，还要去互联网上收集。互联网资料也有不同来源——可以自己爬，各显神通，爬到什么算什么；也可以用CommonCrawl。
CommonCrawl是开源语料库，大模型时代的“数字公共图书馆”。它是个非营利组织，目标是“爬取和存档整个互联网”，并把数据免费提供给所有人。这个愿景很伟大，也确实帮到了很多人。
现在市面上做通用场景的大模型，有一个算一个，训练语料里一定包含CommonCrawl，无非有的多些有的少些。
但CommonCrawl的问
…。。