《统计学习方法》 模型的泛化能力

泛化能力

泛化误差

泛化误差上界

指的泛化误差的概率上界。两种学习方法的优劣，通常通过他们的泛化误差上界进行比较。

性质：

他是样本容量的函数：当样本容量增加时，泛化上界趋于0

他是假设空间容量的函数：假设空间容量越大，模型就越难学，泛化误差上界就越大。

例：二分类泛化误差上界

定理（泛化误差上界）

证明过程：（待完善 ）

Hoeffding不等式：

（第一版）

（第二版）