铁律：永远留一手数据
2010年7月26日，星期一，上午九点整。
车公庙，三十平米的办公室里，气氛比往常更严肃。
白板上还留着上周五晚上周寻写的那些字——“过度拟合防范指南（草稿）”。旁边是陆方那条“完美曲线”的打印件，被周寻用红笔画满了圈，标注着“可疑”“过拟合”“童话”。
陆方坐在电脑前，脸色还有些苍白。但眼睛里的空洞已经消失了，取而代之的是一种更沉的东西——像是刚经历过一场大病后，终于看清了自己有多脆弱的那种清醒。
陈默站在白板前，看着那几行字。
“周寻，”他开口，“上周那件事，让我们看清了一个问题。”
他顿了顿：
“我们不能再靠‘自觉’去防过度拟合。得靠制度。”
周寻点头。
他走到白板前，把那几行“防范指南”擦了，重新写下几个大字：
“默石量化研究——铁律两条”
第一条，他写：
铁律一：永远留一手数据
下面，他画了一个时间轴：
```
2005 2008 2010
|------------|------------|
训练集 样本外测试集
（用于开发） （仅用于最终检验）
```
他转过身，看着所有人：
“从今天起，我们的历史数据，必须严格分成两部分。”
他指着左边那段：
“2005年到2008年底，这是‘训练集’。用来开发策略、测试因子、优化参数。可以反复用，随便用，想跑多少次跑多少次。”
然后他指着右边那段：
“2009年1月到现在，这是‘样本外测试集’。完全不动，绝对不能碰。”
他加重了语气：
“任何策略，在训练集上表现再好，也必须通过样本外测试，才能考虑实盘。”
小林举手：
“周老师，那如果样本外测试没过呢？”
周寻看着他：
“那就说明，这个策略在训练集上的表现，可能是运气，可能是过拟合。回去重新开发，重新优化。然后用新的训练集再跑，跑完再测样本外。”
他顿了顿：
“一遍没
…。。