DPO？」
赵文渊看了他一眼，惊奇的挑了挑眉，又转头看看正一脸茫然看向这边的张彪。
「对，SFT，指令微调，让模型学会特定任务的模式，比如你给它一句自然语言描述，它要生成一个能跑的应用。DP0，直接偏好优化，这是第二步，让模型学会分辨什麽是好的输出丶什麽是差的输出。」
他在纸巾上画了个简单的流程图。
「後训练的算力需求比预训练低一到两个数量级，三千万够启动。」
他把笔放下，先看向张彪。
张彪觉得自己困了，尽力睁大眼睛，眨了眨。
赵文渊放弃让张彪理解这次谈话了，他转向韩路一。
「後训练不拚算力，拚数据，准确的说，拚的是高质量的标注数据。」
韩路一等他继续。
「SFT需要大量的问题丶答案配对。输入是用户的自然语言提示词，输出是可运行的应用代码，这种数据的质量直接决定模型的上限。」
赵文渊身体前倾。
「人工标注一条高质量数据，几十到上百块，十万条就是千万级别的成本，而且标注团队水平参差不齐，做出来的数据你还得反覆清洗。」
「我在鼎盛的时候见过，CodeSafe吃进去的用户数据量很大，但脏，噪声多，他们花了很多人力清洗，效果始终上不去。」
「垃圾进，垃圾出。」韩路一说。
「就是这个意思，数据质量不行，模型再大也是白搭。」赵文渊说完，看着韩路一的眼神带着试探的意味，他在等韩路一出牌。
「数据我有。」
赵文渊没说话，但身体坐直了。他当时就猜测过，BugKiller为什麽这麽强，要麽有黄金数据，要麽有未公开的先进算法，现在看来是前者。
「你的数据哪来的？」他放慢语速，问道，「不会也是偷的吧？」
这话不是玩笑，赵文渊从鼎盛出来的，就是看不惯CodeSafe偷用户代码喂大模型，这是他的底线。
韩路一正色道：「所有的数据都是用户自愿分享的。注册时的相关选项是默认关闭的，用户必须主动选择将检测结果用於产品改进我们才能看到。协议是律师一条一条审过的，我这也有审计报告。」
赵文渊盯着他看。
「我绝不偷数据。」韩路一说。
「好。」赵文渊点了点头，「那数据量够吗？」
…。。