【Validation】林轩田机器学习基石
这一节主要讲如何通过数据来合理的验证模型好不好。
首先,否定了Ein来选模型和Etest来选模型。
(1)模型越复杂,Ein肯定越好;但是Eout就不一定了(见上一节的overfitting等)
(2)Etest是偷窥训练集,也没有效果
下面,集中讨论已有的数据集切分成train data和test data,怎么切分,怎么验证最合理。
Model Selection的流程如下:
(1)切分数据,选一个Eval最小的
(2)再用全量数据去训练选出来的那个model
流程搞清楚了,接下来就要看怎么切数据(怎么选K)
随着K增大,观察蓝线的变化趋势(因为蓝线是上边流程中应用的最终选出来模型的方法): K太小了,Eval跟Eout差距太大(因为有Finite-Hoeffding的不等式);K选择太大了,也不好,因为训练的数据太少了,效果肯定差。
实际中取K=N/5作为经验值。
但上面的这种方法,毕竟只用一部分数据作为测试,效果容易不太稳定。所以才有了V-Fold cross validation。
最极端的情况是leave-one-out Estimate
这种情况基本是Eout的无偏估计,但是代价太高,不可行。
折中一下,10-fold cross validation是常用的方法。