机器学习基石(15)--Validation

本节课主要讲述怎样在模型和参数之间做选择。

把已知的数据中分出一部分来当做validation的数据，用来验证我们hypothesis的表现。

validation和真实Eout的差距：

我们用validation得到最好的模型之后，再把所有的数据合起来再去做训练，因为N变大了，所以得到的结果的Eout应该是最好的：

validation的大小也是很重要的：

课程给出了一个建议：validation和train最好1-4开。

Leave-One-Out-Cross-Validation

一个大小为N的数据每次只留出一个点做validation，剩下的做train，然后重复N次，得到的所有的validation做一个平均。

LOO的数学证明：

LOOCV在N比较大的时候，计算会耗费很大的时间。于是我们有了V-10-fold CV来解决LOOCV的计算量问题。

把整体的数据分成10份，leave one out其中的一份，这样的话就只需要验证10次而不是N次了。10份是比较常见的选择。

总结：