支持向量机2
整理自李航老师统计机器学习。
拍照版纸质笔记。
目录:
- 线性支持向量机与软间隔最大化
- 学习的对偶算法
- 支持向量
- 合页损失函数
- 核函数与核技巧
- 非线性支持向量机
- 序列最小最优化(SMO)算法
序列最小最优化(SMO)算法
支持向量机的学习问题即凸二次规划的求解问题,有很多的算法可以进行求解。但是当训练样本的数目非常多的时候,算法会十分的低效,以至于无法使用。
SMO算法可以快速高效的求解出学习问题。它的一个基本思路是:当所有的解的变量都满足KKT条件时,那么这就是最优化问题的解;否则,选取两个变量,固定其他的变量,构造一个只含两个变量的凸二次规划问题,求解这个问题得到的解就会更加接近原始问题的解,而且2个变量的凸二次规划问题具有解析解,求解简单;这样做可以大大加快算法的计算速度。
具体的SMO算法不做解释。