量化交易基础 - 011 - 样本外检验

11 - 样本外检验

样本外检验（out-of-sample testing）是检验流程中的第二部分，是告知研究员去除样本内检验中那些虚拟表格（cheat sheet）的帮助后，策略在实际中是否起作用。

许多宽客使用的另一个统计量是样本外检验的R2与样本内检验的R2的比值。这个比率是度量模型鲁棒性的另一种方法。如果样本外检验的R2与样本内检验的R2相当接近（即，如果比率大于等于0.5），则被认为是一个好的模型。如果比值显著小，研究者必须对模型的成功应用持怀疑态度。

最简单的方法是使用除去样本内检验数据的剩下部分进行检验。一些研究员使用滚动样本外数据的方法（rolling out-of-sample technique），在这种方法中，最古老的数据点将会被丢弃，最新的数据点被用来拟合（样本内）和检验（样本外）模型。另一种方法是可以使用不断增长的数据窗口，随着时间不断改变，更多的数据被收集，样本外检验将持续进行。

新的有趣的事情会混淆我们的理解。正因如此，检验当前最好的想法优于过去已经存在的情况是一种痴心妄想。这是前视偏差的一种微妙和可恶的形式，是研究中的一个重要问题。当研究员对用来检验模型有效性的样本外数据集越来越熟悉时，很可能他们正暗中假设他们对未来会有很多了解，实际上，历史上询问同样的问题时，他们并不了解。这种情况被一些宽客称为加工数据（burning data）。

另一种方法是首先判定样本外检验是有点神秘的，尤其对于有经验的、善于观察的研究员而言。样本外检验被放弃，这是出于对样本内数据结果的额外警惕和拟合参数的最小化的综合考虑。在这个方法中，宽客尽可能使用较少的参数，将参数值设置在合理的水平，简单地测试策略，寻找有良好表现的参数。