统计学习方法笔记---1201、统计学习方法总结

统计学习方法笔记---1201、统计学习方法总结

一、总结

一句话总结：

本书共介绍了10种主要的统计学习方法：【感知机】、【k近邻法】、【朴素贝叶斯法】、【决策树】、【逻辑斯谛回归与最大熵模型】、【支持向量机】、【提升方法】、【EM算法】、【隐马尔可夫模型】和【条件随机场】.

 

1、10种统计学习方法特点的概括总结（1：【感知机】；2：【k近邻法】；3：【朴素贝叶斯法】）？

1：【感知机】；适用问题：【二类分类】；模型特点：【分离超平面】；模型类型：【判别模型】；学习策略：【极小化误分点到超平面距离】；学习的损失函数：【误分点到超平面距离】；学习算法：【随机梯度下降】

2：【k近邻法】；适用问题：【多类分类，回归】；模型特点：【特征空间，样本点】；模型类型：【判别模型】

3：【朴素贝叶斯法】；适用问题：【多类分类】；模型特点：【特征与类别的联合概率分布，条件独立假设】；模型类型：【生成模型】；学习策略：【极大似然估计，极大后验概率估计】；学习的损失函数：【对数似然损失】；学习算法：【概率计算公式，EM算法】

 

2、10种统计学习方法特点的概括总结（4：【决策树】；5：【逻辑斯谛回归与最大熵模型】）？

4：【决策树】；适用问题：【多类分类，回归】；模型特点：【分类树，回归树】；模型类型：【判别模型】；学习策略：【正则化的极大似然估计】；学习的损失函数：【对数似然损失】；学习算法：【特征选择，生成，剪枝】

5：【逻辑斯谛回归与最大熵模型】；适用问题：【多类分类】；模型特点：【特征条件下类别的条件概率分布，对数线形模型】；模型类型：【判别模型】；学习策略：【极大似然估计，正则化的极大似然估计】；学习的损失函数：【逻辑斯谛损失】；学习算法：【改进的迭代尺度算法，梯度下降，拟牛顿法】

 

 

3、10种统计学习方法特点的概括总结（6：【支持向量机】；7：【提升方法】；8：【EM算法】）？

6：【支持向量机】；适用问题：【二类分类】；模型特点：【分离超平面，核技巧】；模型类型：【判别模型】；学习策略：【极小化正则化合页损失，软间隔最大化】；学习的损失函数：【合页损失】；学习算法：【序列最小最优化算法（SMO）】

7：【提升方法】；适用问题：【二类分类】；模型特点：【弱分类器的线性组合】；模型类型：【判别模型】；学习策略：【极小化加法模型的指数损失】；学习的损失函数：【指数损失】；学习算法：【前向分步加法算法】

8：【EM算法】；适用问题：【概率模型参数估计】；模型特点：【含隐变量概率模型】；学习策略：【极大似然估计，极大后验概率估计】；学习的损失函数：【对数似然损失】；学习算法：【迭代算法】

 

4、10种统计学习方法特点的概括总结（9：【隐马尔可夫模型】；10：【条件随机场】）？

9：【隐马尔可夫模型】；适用问题：【标注】；模型特点：【观测序列与状态序列的联合概率分布模型】；模型类型：【生成模型】；学习策略：【极大似然估计，极大后验概率佔估计】；学习的损失函数：【对数似然损失】；学习算法：【概率计算公式，EM算法】

10：【条件随机场】；适用问题：【标注】；模型特点：【状态序列条件下观测序列的条件概率分布，对数线性模型】；模型类型：【判别模型】；学习策略：【极大似然估计，正则化极大似然估计】；学习的损失函数：【对数似然损失】；学习算法：【改进的迭代尺度算法，梯度下降，拟牛顿法】

 

 

 

二、内容在总结中

博客对应课程的视频位置：