《统计学习方法》：统计学习 机器学习 统计机器学习

统计学习(statistical learning)是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科．

统计学习也称为统计机器学习(statistical machine learning).

统计学习的主要特点是:

(1）统计学习以计算机及网络为平台，是建立在计算机及网络之上的;

(2）统计学习以数据为研究对象，是数据驱动的学科;

(3)  统计学习的目的是对数据进行预测与分析;

(4)  统计学习以方法为中心，统计学习方法构建模型并应用模型进行预测与分析;

(5）统计学习是概率论、统计学、信息论、计算理论、最优化理论及计算机科学等多个领域的交叉学科，并且在发展中逐步形成独自的理论体系与方法论.

 

赫尔伯特·西蒙(Herbert A.Simon）曾对“学习”给出以下定义:“如果一个系统能够通过执行某个过程改进它的性能，这就是学习.”

按照这一观点，统计学习就是计算机系统通过运用数据及统计方法提高系统性能的机器学习.

现在当人们提及机器学习时，往往是指统计机器学习.

 摘自-  李航 ：统计学习方法（第二版）

目录

第 1篇 监督学习 

第 1章统计学习及监督学习概论 . 3  

1.1统计学习 . 3  

1.2统计学习的分类 . 5  

1.2.1基本分类 . 6  

1.2.2按模型分类  11  

1.2.3按算法分类  13  

1.2.4按技巧分类  13  

1.3统计学习方法三要素  15  

1.3.1模型  15  

1.3.2策略  16  

1.3.3算法  19  

1.4模型评估与模型选择  19  

1.4.1训练误差与测试误差  19  

1.4.2过拟合与模型选择  20  

1.5正则化与交叉验证  23  

1.5.1正则化  23 

 1.5.2交叉验证 . 24 

 1.6泛化能力 . 24 

 1.6.1泛化误差 . 24 

 1.6.2泛化误差上界  25 

 1.7生成模型与判别模型  27 

 1.8监督学习应用  28 

 1.8.1分类问题 . 28 

 1.8.2标注问题 . 30 

 1.8.3回归问题 . 32

第 2章感知机  35  

第 3章 k近邻法  49 

 第 4章朴素贝叶斯法  59 

第 5章决策树  67 

第 6章逻辑斯谛回归与最大熵模型  91 

第 7章支持向量机 111 

第 8章提升方法 155 

第 9章 EM算法及其推广 .175  

第 10章隐马尔可夫模型 193 

第 11章条件随机场 215   

第 12章监督学习方法总结 237

 

第 2篇 无监督学习 

第 13章无监督学习概论245 

 13.1无监督学习基本原理 245 

 13.2基本问题 246  

13.3机器学习三要素 249  

13.4 无监督学习方法 249

第 14章聚类方法 255  

第 15章奇异值分解 271 

第 16章主成分分析 297  

第 17章潜在语义分析 321  

第 18章概率潜在语义分析 339 

第 19章马尔可夫链蒙特卡罗法 351 

第 20章潜在狄利克雷分配 385  

第 21章 PageRank算法 415 

第 22章无监督学习方法总结 .435  

22.1无监督学习方法的关系和特点 435  

22.1.1各种方法之间的关系 435  

22.1.2无监督学习方法 436  

22.1.3基础机器学习方法 .437  

22.2 话题模型之间的关系和特点 437

  

附录 A梯度下降法 439 

附录 B牛顿法和拟牛顿法 .441 

附录 C拉格朗日对偶性 447 

附录 D矩阵的基本子空间 451 

附录 E KL散度的定义和狄利克雷分布的性质 .455