机器学习实战笔记(Python实现)-07-模型评估与分类性能度量

1、经验误差与过拟合

通常我们把分类错误的样本数占样本总数的比例称为“错误率”(error rate)，即如果在m个样本中有a个样本分类错误，则错误率E=a/m；相应的，1-a/m称为“精度”(accuracy)，即“精度=1一错误率”。更一般地，我(学习器的实际预测输出与样本的真实输出之间的差异称为“误差”(error)，学习器在训练集上的误差称为“训练误差”(training error)或“经验误差”(empirical error)，在新样本上的误差称为“泛化误差”(generalization error)。显然，我们希望得到泛化误差小的学习器，然而，我们事先并不知样本是什么样，实际能做的是努力使经验误差最小化。

“过拟合”（overfitting）与“欠拟合”（underfitting），学习器把训练样本学得太好了的时候，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会有的一般性质，这样就会导致泛化能力下降。这种现象在机器学习中称为过拟合，相对地，欠拟合是指对训练样本的一般性质尚未学好。

2、评估方法

通常，我们可通过实验测试来对学习器的泛化误差进行评估并进而做出选择。即对数据集D进行适当处理，从中产生出训练集S和测试集T。下面介绍几种常见的做法。

2.1 留出法

“留出法”（hold-out）直接将数据集D划分为两个互斥的集合，分别作为训练集S和测试集T，即D=S υ T，S ∩ T=Φ。在S上训练出模型后，用T来评估其测试误差，作为对泛化误差的估计。常见做法是将大约2/3~4/5的样本用于训练，剩余样本用于测试。

2.2 交叉验证法

“交叉验证法”(cross validation)先将数据集D划分为k个大小相似的互斥子集，即，每个子集Di都尽可能保持数据分布的一致性，即从D中通过分层采样得到，然后，每次用k-1个子集的并集作为训练集，余下的那个子集作为测试集这样就可获得k组训练/测试集，从而可进行k次训练和测试，最终返回的是这k个测试结果的均值。通常把此过程称为“k折交叉验证”(k-fold cross validation)。

Python实现：

from sklearn.cross_validation import train_test_split
# 避免过拟合，采用交叉验证，验证集占训练集20%，固定随机种子（random_state)
train_X, test_X, train_y, test_y = train_test_split(train_dataSet,
                                                    train_label,
                                                    test_size = 0.2,
                                                    random_state = 0)

2.3 自助法

“自助法”（bootstrapping）直接以自助采样法（bootstrap sampling）为基础，它是一个很好解决在留出法和交叉验证法中，由于保留了一部分样本用于测试，导致训练样本规模不同造成影响的解决方案。采样过程为：从给定包含m个训练样本的数据集D中，有放回地抽取m个样本形成数据集D'。显然，D中有一部分样本会在D'中多次出现，而另一部分样本不出现。可以做一个简单的估计，样本在m次采用中不被采到的概率取极限是：