【机器学习实战】验证集效果比测试集好怎么办？

模型在验证集（开发集）上的效果比在测试集上好，或者说，测试集上的效果不如验证集，这个时候该怎么办？

这可以理解为模型对验证集过拟合了。模型在验证集上的效果并不能代表模型的实际泛化能力。

这个时候，可以做的：
1）检查验证集和测试集是不是同一分布，验证集应该更像测试集而不是训练集。
2）换个验证集，或者增大验证集。
3）检查代码是不是有问题，验证集是不是被拿去训练参数了。

如下情况，可能是正常的：
1）测试集比验证集更难进行预测，尽管算法做得足够好了，却很难有进一步的提升空间。
2）当验证集和测试集差的不多时，如 1% 左右，可能是正常的。

References

《Machine Learning Yearning》机器学习训练秘籍 -- Andrew Ng
Validation and Testing accuracy widely different -- stackoverflow
test accuracy is so much lower than validation accuracy by 6~10%. What could be the reason? -- StackExchange