名词解析之泛化误差

摘要：以前在机器学习中一直使用经验风险来逼近真实风险，但是事实上大多数情况经验风险并不能够准确逼近真实风险。后来业界就提出了泛化误差的概念（generalization error）,在机器学习中泛化误差是用来衡量一个学习机器推广未知数据的能力，即根据从样本数据中学习到的规则能够应用到新数据的能力。常用的计算方法是：用在训练集上的误差平均值-在测试集上的误差平均值。

一：经验风险

机器学习本质上是一种对问题真实模型的逼近，这种近似模型也叫做一个假设。因为真实模型肯定是无法得到的，那我们的假设肯定与真实情况之间存在误差，这种误差或者误差的积累也叫做风险。

在我们选择了一个假设（或者获得一个分类器）后，为了得到真实误差的逼近，我们用分类器在样本数据上的分类结果与样本本身真实结果之间的差值来表示。这个差值叫做经验风险。

以前机器学习中经常通过经验风险的最小化作为目标,但是后来发现很多分类函数在样本集合上能够很轻易的获得100%的正确率,但是在对真实数据的分类却很糟。也表明了这种分类函数推广能力（泛化能力）差。导致这种现象的原因是：经验风险并不能够真正的逼近真实风险,因为样本集合的数目相对于真实世界要分类的数据来说就是九牛一毛。

之后统计学中就引入了泛化误差界的概念。

二：泛化误差界

泛化误差界刻画了学习算法的经验风险与期望风险之间偏差和收敛速度.

真实的风险应该由两部分组成：

1：经验风险,代表分类器在给定样本上的误差（可以精确计算）。     

2：置信风险,代表我们可以在多大程度上信任分类器在未知数据上的分类结果（不可以精确计算）,因为不可以精确计算,所以只能给出一个估计区间,也因为这个泛化误差只能给出一个上界。 与置信风险相关的变量有两个：

    a)样本数量,样本数量越大表明我们的学习结果正确的可能性越大,此时置信风险越小。

    b)VC维,分类函数的VC维越大,推广能力越差,置信风险越大。

真实风险 ≤ 经验风险 + 置信风险。

现在统计学习的目标就从经验风险最小化变为经验风险与置信风险之和最小化。