统计学习方法-李航 第一章

第一章 统计学习方法概论

学习:如果一个系统能够通过执行某个过程改进它的性能,这就是学习

监督学习:从训练数据集中学习模型,对测试数据进行预测

回归问题:输入变量与输出变量均为连续变量的预测问题

分类问题:输出变量为有限个离散变量的预测问题

标注问题:输入变量与输出变量均为变量序列的预测问题

损失函数:度量预测错误的程度

经验风险:训练数据集的平均损失

期望风险:损失函数的期望值

根据大数定律,当样本容量N趋于无穷时,经验风险趋于期望风险

泛化能力:指由该方法学习到的模型对未知数据的预测能力

过拟合:指学习时选择的模型所包含的参数过多,以致于出现这一模型对已知数据预测得很好,但对未知数据预测得很差的现象

如果训练数据本身存在噪声,拟合曲线对未知数据的预测能力并不好

模型选择时,不仅要考虑对已知数据的预测能力,而且要考虑对未知数据的预测能力

正则化:在经验风险上加一个正则化项或罚项

奥卡姆剃刀原理:在所有可能选择的模型中,能够很好地解释已知数据并且十分简单才是最好的模型,也是应该选择的模型

交叉验证:首先随机地将已知数据切分为S个互不相交的大小相同的子集;然后利用S-1个子集的数据训练模型,利用余下的子集测试数据;

将这一过程对可能的S种选择重复进行,最后选出S次测评中平均测试误差最小的模型。

TP:将正类预测为正类数

FN:将正类预测为负类数

FP:将负类预测为正类数

TN:将负类预测为负类数

精确率:P=TP/(TP+FP)

召回率:R=TP/(TP+FN)

2/F1=1/P + 1/R

伯努利模型:定义在取值为0和1的随机变量上的概率分布。

假设观测到伯努利模型n次独立的数据生成结果,其中k次的结果为1,这时可以用极大似然估计或贝叶斯估计来估计结果为1的概率。

 

机器学习:在计算机系统中,经验通常以数据形式存在,机器学习所研究的主要内容,是关于在计算机上从数据产生模型的算法,即学习算法。

有了学习算法,我们把经验数据提供给他,它就能基于这些数据产生模型;在面对新的情况时,模型会给我们提供相应的判断。

 



posted @ 2017-07-20 16:24  flymeng  阅读(259)  评论(0编辑  收藏  举报