量化交易基础 - 008 - 检验 （1）

008 - 检验 （1）

检验是研究的中心。初看上去，这个过程的最常见版本看上去相当简单。首先，构建模型，并基于可行数据的某个子集（样本内数据，in-sample period）训练此模型。然后在数据集的另一个子集检验其是否盈利（样本外数据，out-sample period）。

通过使用更多的数据，宽客构建的模型适用于更广泛的情景和市场环境，这使得模型更稳健。在真实条件下，模型会成功，是因为模型已经可以“看见”和适用于大量样本内数据包含的情形与环境。另一方面，模型允许使用的数据越多，当被调整的时候，构建模型的风险就越大，此时的模型仅仅能对过去进行很好的解释。基于这个原因，许多宽客使用交叉数据进行样本内检验和模型拟合检验。

1. 累积盈利图

累积盈利图是检验过程最有力的输出量，因为正如人们所说的，一图胜千言。从累积盈利图可以看出，策略能否盈利、平稳性如何以及存在着何种下行风险，适用于哪些情况。

2. 平均收益率

平均收益率表明策略在过去实际运行情况如何（即盈利情况如何）。如果策略在测试阶段效果不佳，那么实际情况下策略就不可能奏效。正如后面所看到的，测试让研究者相信，交易中盈利是一件极其容易的事情。令人遗憾的是，这种错觉主要归因于大量的致命陷阱。

3. 收益率随时间的变异性

收益率随时间的变异性描述的是平均收益率的不确定性，该指标有助于研究员判断是否应该持有某交易策略。通常情况下，收益率变异性越小，策略越优。

块度（lumpiness），指的是显著高于平均收益的时间段内的收益占策略总收益的比例。这是另一种测量收益一致性的方法。尽管度量指标很重要，但一致性并不总是主要的目标。不过，知道投资者或者策略的从业者所期望的目标是一件好事情，即使只能识别到策略行为发生改变的时间。

4. 波峰波谷间的最大降幅

波峰波谷间的最大降幅测量的是盈利曲线中从任意一个累计波峰开始的最大回测。如果策略盈利10%，然后亏损15%，再然后盈利15%，那么这个阶段策略的整体收益率大约是7.5%。然而，波峰和波谷的降幅达到15%。另一种陈述方法为：投资者为了获得7.5%的盈利，必须承担15%的风险。策略的回测越低，策略越优。

多宽客不仅仅分析一个回测，而是分析多个回测以了解他们策略的极端和常规下行风险。分析下跌之后的恢复时间也很重要，有助于研究员理解模型极差表现之后的行为。回复时间较长通常是不受欢迎的，因为这暗示着，如果策略在某个时间发生大量损失，将在很长时间内保持负值。

然而，下跌信息必须谨慎处理。相反，虽然回测时间很“长”，覆盖了有利于策略的整个时间段，也将低估潜在的下行风险。对于这个问题，并没有太多的解决方案：计算下行风险的样本要么足够大，以至于能够覆盖很大范围内的市场体制以及有利的和不利的环境（尤其与策略测试相关的环境），要么不能覆盖。如果样本并不足够大，不能代表所有可能情况，那么宽客只能对环境变得恶劣时的最坏亏损做出一些判断。很明显，这个判断很大程度上依赖于研究员的判断。即使这样，这最多也只是一个粗略估计。

如果反复操作成千上万次，理论上讲从一个真实历史数据可以得到许多可能的结果。这种方法被称为重复采样（resampling），这样可以提升历史样本的效率。基于这些的历史重复采样数据，可以计算出每一种情况的最大下行，对策略的潜在下行风险估计更稳健。

5. 预测力

统计量R2（R-squared）表示预测模型解释被预测量的变异程度，换句话说，就是被预测量被信号解释的变异程度。其值在0-1，有几个有效的方法进行计算。用户可以利用许多统计包（包括Microsoft Excel）很容易地计算出R2。值为1意味着模型解释了被预测量变异100%的信息。如果不是特别说明，当我们谈到“被预测量”时，当然是指向进行交易的股票、期货合约或者其他金融产品。在量化金融领域，毫不夸张地说，我们试图预测期货价格/收益率/一些金融产品的趋势，使其R2为1是不可能的，除非方法是错误的。事实上，在这个行业，R2为0.05就是极好的了（参照后面章节讨论的样本外数据）。我的一个前员工曾说道，“如果你没有犯错误并且R2高于0.15，换个方式重新处理，因为如果你使用这个策略，证监会将会认为是内幕交易而逮捕你”。注意到，R2等于0.15意味着预测模型描述了被预测目标未来变异的15%信息。正如另一个量化交易者所谈到的，“人们认为0.02的R2的模型就是很好的模型”。

这个方法是在检验中按照十分位数（或者研究喜欢的其他分位数）的方法对金融产品的潜在预测的收益率进行分组。通常情况下，具有可靠预测力的模型能够显示最坏的收益情形出现在最坏的预测收益情形中。实际上，改善的预期收益的每一个分组表现优于前一个。如果被预测的金融产品的收益不能随着预测而改进，则暗示着这个策略只是偶然地发生作用。