监督学习方法总结

Reference：李航 --《统计学习方法》

10 种主要的统计学习方法概括总结

方法	适用问题	模型特点	模型类型	学习策略	学习的损失函数	学习算法
感知机	二类分类	分离超平面	判别模型	极小化误分点到超平面距离	误分点到超平面距离	随机梯度下降
k 近邻	多类分类，回归	特征空间，样本点	判别模型	---	---	---
朴素贝叶斯	多类分类	特征与类别的联合概率分布，条件独立假设	生成模型	极大似然估计，最大后验概率估计	对数似然损失	概率计算公式，EM 算法
决策树	多类分类，回归	分类树	判别模型	正则化的极大似然估计	对数似然损失	特征选择，生成，剪枝
逻辑斯蒂回归与最大熵模型	多类分类	特征条件下类别的条件概率分布，对数线性模型	判别模型	极大似然估计，正则化的极大似然估计	逻辑斯蒂损失	改进的迭代尺度算法，梯度下降，拟牛顿法
支持向量机	二类分类	分类超平面，核技巧	判别模型	极小化正则化合页损失，软间隔最大化	合页损失	序列最小最优化算法（SMO）
提升方法	二类分类	弱分类器的线性组合	判别模型	极小化加法模型的指数损失	指数损失	前向分步加法算法
EM 算法	概率模型参数估计	隐含变量概率模型	---	极大似然估计，最大后验概率估计	对数似然损失	迭代算法
隐马尔可夫模型	标注	观测序列与状态序列的联合概率分布模型	生成模型	极大似然估计，最大后验概率估计	对数似然损失	概率计算公式，EM 算法
条件随机场	标注	状态序列条件下观测序列的条件概率分布，对数线性模型	判别模型	极大似然估计，正则化极大似然估计	对数似然损失	改进的迭代尺度算法，梯度下降，拟牛顿法

EM 算法是个一般算法，不具有具体模型

监督学习可以认为是学习一个模型，使它能对给定的输入预测相应的输出。

监督学习包括 分类、标注、回归

分类问题是从实例的特征向量到类标记的预测问题，标注问题是从观测序列到标记序列（或状态序列）的预测问题

适用问题：

分类方法：感知机、k 近邻、朴素贝叶斯、决策树、逻辑斯蒂回归与最大熵模型、支持向量机、提升方法

其中 感知机、支持向量机、提升方法 是针对二分类，但可以将它们扩展到多类分类

标注方法：隐马尔可夫模型、条件随机场

EM 算法 ：含有隐变量的概率模型的一般学习算法，可以用于生成模型的无监督学习

特点：

感知机、k 近邻、朴素贝叶斯、决策树 是简单的分类方法，具有模型直观、方法简单、实现容易等特点

逻辑斯蒂回归与最大熵模型、支持向量机、提升方法 是更复杂但更有效的分类方法，往往分类准确率很高

隐马尔可夫模型、条件随机场 是主要的标记方法，且条件随机场往往准确率更高

模型

分类和标注都可以认为是表示从输入空间到输出空间的映射。它们可以写成条件概率分布 P（Y|X） 或决策函数 Y = f（X），前者表示给定输入条件下输出的概率模型，后者表示输入到输出的非概率模型

概率模型：朴素贝叶斯、隐马尔可夫模型

非概率模型：感知机、k 近邻、支持向量机、提升方法

决策树、逻辑斯蒂回归与最大熵模型、条件随机场 即可以看作是概率模型又可以看作非概率模型

判别方法（判别模型）：直接学习条件概率分布 P(Y|X) 或决策函数 Y = f（X）

有 感知机、k 近邻、决策树、逻辑斯蒂回归与最大熵模型、支持向量机、提升方法、条件随机场

生成方法（生成模型）：首先学习联合概率分布 P（X, Y）,从而求得条件概率分布 P(Y|X)

有 朴素贝叶斯、隐马尔可夫模型

线性模型：感知机

对数线性模型：逻辑斯蒂回归与最大熵模型、条件随机场

非线性模型：k 近邻、决策树、支持向量机（包括核函数）、提升方法

学习策略：

在二类分类的监督学习中，支持向量机、逻辑斯蒂回归与最大熵模型、提升方法各自使用的损失函数分别为 合页损失函数、逻辑斯蒂损失函数、指数损失函数：

$$[1-yf(x)]_+$$

$$log[1+exp(-yf(x))]$$

$$exp(-yf(x))$$

这三种损失函数都是 0-1 损失函数的上界，具有相似的形状

学习算法：

统计学习的问题有了具体的形式后，就变成了最优化问题。

若最优化问题有解析解，最优解可通过公式简单计算；若没有解析解，则需要用数值计算的方法或启发式的方法求解

• 公式计算：朴素贝叶斯、隐马尔可夫模型 的最优解即极大似然估计值，可以由概率计算公式直接计算

• 无约束问题求解：感知机、逻辑斯蒂回归与最大熵模型、条件随机场 的学习利用梯度下降法、拟牛顿法进行求解

• 凸二次规划的对偶问题：支持向量机 的学习。可通过 序列最小最优化算法等方法

• 启发式：决策树 的学习。可通过 特征选择、生成、剪枝等启发式地进行正则化的极大似然估计

  ​ 提升方法 利用学习的模型是加法模型、损失函数是指数损失函数的特点，启发式地从前向后逐步学 习模型，以达到逼近最优化目标函数的目的

• 迭代求解：EM 算法的求解含隐变量概率模型参数的方法，它的收敛性可以保证，但是不能保证收敛到全局最

  ​ 优

凸优化问题：支持向量机、逻辑斯蒂回归与最大熵模型、条件随机场 的学习，全局最优解保证存在，而其他学习问题则不是凸优化问题