模型评估与选择

机器学习算法完整版见fenghaootong-github

模型评估与选择

经验误差与过拟合
评估方法
性能度量
比较检验
偏差与方差

经验误差与过拟合

误差率：分类错误的样本数占样本总数的比例
精度：1 - 错误率
误差：学习器的实际预测输出与样本的真实输出之间的差异
过拟合：训练样本学的太好，就是把训练样本的所有特征当作了所有样本的特征

评估方法

留出法

留出法比较简单，就是把数据集进行划分，划分为两个互斥的集合，一个作为训练集，一个作为测试集，至于怎么分，采用什么样的采样方法，可以自己决定

交叉验证法

首先把数据集划分为k个大小相同的互斥子集
每次用k-1个子集作为训练集，一个子集作为测试集
交叉使用这k个子集作为测试集，从而进行k次训练和测试，最终返回这k个结果的均值
这就是k折交叉验证

自助法

自助法和交叉验证法有点相似，不同的是，两个划分数据的方式不同，自助法方法如下：

首先首先从m个样本的数据集D中，可放回的重复抽样m次，得到一个有m个样本的数据集 $D_i$
这样的抽样方式在 $D_i$ 肯定有重复的数据,有一部分数据肯定没有抽到，没有抽到的概率为 $(1−1m)m(1-\frac{1}{m})^m$
用含有m个样本的数据集 $D_i$ 作为训练集，剩下的没有抽到的作为测试集
将这样的动作重复多次就可以训练出多个模型

自助法在数据集较小、难以有效划分训练/测试集时很有用，自助法能从初始数据集中产生多个不同的训练集，这对集成学习等方法很有效
自助法产生的数据集改变了初始数据集的分布，这会引入估计误差，因此数据量足够时，留出法和交叉验证法更常用

调参与最终模型

大多数的学习算法都有参数需要设定，参数配置不同学习的模型的性能往往有显著差别
但是在调参的时候要注意设置步长，否则在实数范围内，对每种参数配置训练出模型来是不可能的
调参是一件困难的工程，比如算法有3个参数，每个参数考虑5个候选参数，这就有 $5^3 = 125$ 个模型
模型选择时要把训练数据分成训练集和验证集，选择最好的模型，然后用所有的训练数据重新训练模型，最后再用测试集测试结果

性能度量

举个例子， $y$ 为真是值， $f (x)$ 为预测结果

回归任务最常用的性能度量时“均方误差“：

$\frac{1}{m} \sum_{i=1}^{m}(f(x)-y)^2$

更一般的，对于数据分布 $D$ 和概率密度函数 $p(⋅)p(\cdot)$ ，均方误差：

$\int_{x\backsim D} p(x)(f(x)-y)^2 dx$

错误率与精度

分类任务，最常用的性能测量

错误率：

$\frac{1}{m} \sum_{i=1}^{m} \amalg (f(x)\ne y_i)$

精度：

$\frac{1}{m} \sum_{i=1}^{m} \amalg (f(x) = y_i) = 1 - E(f:D)$

更一般的，对于数据分布 $D$ 和概率密度函数 $p(⋅)p(\cdot)$ ，错误率和精度：

$\int_{x\backsim D} p(x) \amalg (f(x)\ne y_i) dx$

$\int_{x\backsim D} p(x) \amalg (f(x) = y_i) dx = 1 - E(f:D)$

查准率、查全率和F1

举一个医院的例子，错误率就是一个医生对病人的误判率，但是并没有说时把健康的人误判为病人还是把病人误判为健康的人，这是两种完全不同的结果，所以错误率这时候就不够用了。

还有就是信息检索时，我们经常关心”检索出来的信息有多少比例是用户感兴趣的“ ”用户感兴趣的信息中有多少被检索出来了“，这两个就分别对应了“查准率”和“查全率”

对于二分类问题，用一个分类结果混淆矩阵说明：

真实情况	预测结果	预测结果
	正例	反例
正例	TP(真正例)	FN(假反例)
反例	FP(假正例)	TN(真反例)

查准率： $\frac{TP}{TP + FP}$
查全率： $\frac{TP}{TP + FN}$
查准率和查全率的不同偏好： $Fβ=(1+β2)×P×R(β2×P)+RF_\beta = \frac{(1 + \beta^2) \times P \times R}{(\beta^2 \times P) + R}$

其中 $β>0\beta > 0$ 度量了查全率对查准率的相对重要性， $β=1\beta = 1$ 是标准的 $F_1$ , $β>1\beta > 1$ 时查全率有更大的影响， $β<1\beta < 1$ 时查准率有更大的影响

ROC和AUC

ROC曲线的横纵坐标分别是：

横坐标为假正例率： $\frac{FP}{FP + TN}$
纵坐标为真正例率： $\frac{TP}{TP + FN}$

若一个学习器的ROC曲线被另一个学习器的ROC曲线包裹，则后者优于前者，如果两条曲线发生重合，则使用ROC曲线下的面积，即AUC

$\frac{1}{2} \sum_{i=1}^{m-1}(x_{i+1} - x_i)(y_i + y_{i+1})$

比较检验

本节默认以错误率为性能测量，用 $ϵ\epsilon$ 表示

假设检验

假设检验中的“假设”是对学习器泛化错误率分布的某种判断或者猜想，例如“ $ϵ\epsilon$ = $ϵ0\epsilon_0$ ”。现实任务中我们并不知道学习器的泛化错误率，只能获知其测试错误率 $ϵ^\widehat{\epsilon}$ 。泛化错误率与测试错误率未必相同，但二者接近的可能性比较大，因此，可根据测试错误率推出泛化错误率的分布。

泛化错误率 $ϵ\epsilon$ 的学习器在一个样本上犯错的概率为 $ϵ\epsilon$ ;
测试错误率 $ϵ^\widehat{\epsilon}$ 意味着在m个测试样本中恰有 $ϵ^∗m\widehat{\epsilon}* m$ 个被误分类。
在包含m个样本的测试集上，泛化错误率为 $ϵ\epsilon$ 的学习器被测得测试错误率为 $ϵ^\widehat{\epsilon}$ 的概率：
$P(ϵ^;ϵ)=⟮ϵ^∗mm⟯ϵϵ^∗m(−ϵ)m−ϵ^∗mP(\widehat{\epsilon};\epsilon) = \lgroup_{\widehat{\epsilon} * m}^{m} \rgroup\epsilon^{\widehat{\epsilon} * m}(- \epsilon )^{m - \widehat{\epsilon} * m}$
显著度为 $α\alpha$
交叉验证法要进行多次训练和测试，会得到多个测试错误率，我们使用“t检验”，假定我们得到了k个测试错误率， $ϵ^1\widehat{\epsilon}_{1}$ ， $ϵ^2\widehat{\epsilon}_{2}$ ，…， $ϵ^k\widehat{\epsilon}_{k}$ ，则平均测试错误率 $μ\mu$ 和方差 $σ2\sigma^2$ 为：
$μ=1k∑i=1kϵ^i\mu = \frac{1}{k}\sum_{i = 1}^{k}\widehat{\epsilon}_{i}$
$σ2=1k−1∑i=1k(ϵ^i−μ)2\sigma^{2} = \frac{1}{k-1}\sum_{i = 1}^{k}(\widehat{\epsilon}_{i}-\mu)^2$
考虑到这k个测试错误率可看作泛化错误率 $ϵ0\epsilon_{0}$ 的独立采样，则变量
$\tau_t= \frac{\sqrt{k}(\mu - \epsilon_{0})}{\sigma}$

服从k-1的t分布

对于假设“ $μ=ϵ0\mu = \epsilon_{0}$ ”和显著度 $α\alpha$ ，若平均错误率 $μ\mu$ 和 $ϵ0\epsilon_{0}$ 之差 $∣μ−ϵ0∣|\mu - \epsilon_{0}|$ 位于临界值范围 $[t−α2,tα2][t_{-\frac{\alpha}{2}}, t_{\frac{\alpha}{2}}]$ ，则不能拒绝假设“ $μ=ϵ0\mu = \epsilon_{0}$ ”，即可认为泛化错误率为 $ϵ0\epsilon_{0}$ ，置信度为 $1−α1-\alpha$ ；否则拒绝该假设，即在该显著度下可认为泛化错误率与 $ϵ0\epsilon_{0}$ 有显著不同。 $α\alpha$ 常用取值为0.05和0.01。

McNemar检验

对于二分类的问题，使用留出法，不仅可估计学习器A和B的测试错误率，还可获得两学习器分类结果的差别，如下列联表所示：

算法B	算法A	算法A
	正确	错误
正确	$e_{00}$	$e_{01}$
错误	$e_{10}$	$e_{11}$

若我们做的假设是两学习器性能相同，则应有 $e_{01}=e_{10}$ ，那么变量 $e_{01}-e_{10}|$ 应当服从正态分布。McNemar检验考虑变量为：
$τχ2=(∣e01−e10∣−1)2e01+e10\tau_{\chi^2} = \frac{(|e_{01}-e_{10}|-1)^2}{e_{01}+e_{10}}$

服从自由度1的 $χ2\chi^2$ 分布，即标准正态分布变量的平方

给定显著度 $α\alpha$ ，当以上变量小于临界值 $χα2\chi_{\alpha}^2$ 时，不能拒绝假设，即认为两学习器的性能没有显著差别。

Friedman和Nemenyi检验

用于在一组数据上对多个算法进行比较
一种是在每个数据集上分别列出两两比较的结果
另一种是基于算法排序的Friedman检验
如果Friedman检验得到的结果是所有算法的性能相同，这时候再用Nemenyi检验

偏差与方差

泛化误差是指在新样本上的误差
泛化误差等于偏差、方差与噪声之和
- 偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力
- 方差度量了同样大小的训练集的变动所导致的学习性能的变化，即数据扰动所造成的影响
- 噪声则表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度

posted on 2018-03-08 11:01 一小白阅读(588) 评论(0) 编辑收藏举报