交叉验证

cross_val_score 实例

交叉检验（$cross\ validation$）是一种常用的模型选择方法。

如果给你的样本数据充足，模型选择的一种简单方法是将随机数据切分为训练集（$training\ set$）、验证集（$validation\ set$）、测试集（$test\ set$）。训练集用来训练模型、验证集用于模型选择、测试集对最终的模型进行评估。

但实际应用中数据是不充足的。此时，可以采用交叉验证法。思想是：重复的使用数据，把给定的数据进行切分，将切分的数据集组合为训练集与测试集，在此基础上反复进行训练，测试以及模型选择。

根据切分方法的不同，交叉验证分为三种：

① 简单交叉验证

首先随机地将数据分为两部分，一部分作为训练集，另一部分作为测试集（例如，$70\%$ 的数据作为训练集，$30\%$ 的数据作为测试集）；然后用训练集在各种条件下训练模型，从而得到不同的模型；在测试集上评价各个模型的测试误差，选出测试误差最小的模型。

② $K$ 折交叉验证

首先随机地将数据切分为 $K$ 个互不相交、大小相同的子集；

然后利用 $K-1$ 个子集的数据训练模型，余下的子集测试模型，这一过程会得得到 $K$ 个模型；

最后选出 $K$ 次中误差最小的模型，或平均 $K$ 次结果，或其他结合方式。

③ 留一交叉验证

$K$ 折交叉验证的特殊情形，$K=N$，称为留一交叉验证（$leave-one-out\ cross\ validation$）。这里 $N$ 是数据集的容量。对于 $N$ 个样本，每次选择 $N-1$ 个样本作训练集，$1$ 个样本作测试集。

三种交叉验证的选择：只是对数据做一个初步的模型建立，不做深入分析，简单交叉验证就可以。否则用 $K$ 折交叉验证。当数据集很少的时候（$N<50$），使用留一交叉验证。

④ 自助法

还有一种比较特殊的交叉验证方法，也是用于数据集很少的时候（$N<20$）。叫自助法。即有放回的抽样法，采集跟训练集个数 $m$ 相同的样本。这 $m$ 个样本做训练集，没在训练集出现的样本做测试集。这样的测试结果，也叫“包外估计”。

在 $m$ 次采样中没被采集到的概率：

$$p_{(一次都未被采集)} \ \ \ \ \ \ \ \ \ = (1-\frac{1}{m})^m$$

对 $m$ 取极限：

$$\underset{m \to \infty}{lim} (1-\frac{1}{m})^m = \frac{1}{e} \approx 0.368$$

也就是初始训练集约有 $63.2\%$ 的样本在采样集中，$36.8\%$ 没被采集。

函数：

sklearn.cross_validation.cross_val_score(estimator, X, y=None, scoring=None, cv=None,n_jobs=1, verbose=0, fit_params=None, pre_dispatch='2*n_jobs')

返回值：

交叉验证每次运行的评分数组。

参数：

estimator：数据对象。比如：分类器名称。$estimator = svm.SVC(kernal = 'linear', C=1)$。

X：数据。

y：预测数据。

scoring：调用方法。

• $accuracy$：准确率。
• $f1$：$F1$ 值，只用于二分类。
• $precision$：精度，只用于二分类。
• $recall$：召回率，只用于二分类。
• $balanced\ accuracy$：平衡精度。

cv：如果是 $int$ 值，表示几折交叉验证；也可以是一个迭代策略生成器，指定不同的 $cv$ 方法。

n_jobs：$CPU$ 个数（$-1$ 表示全部）。