统计学习方法六：支持向量机三（支持向量定量理解和算法总结）

这篇博客主要包含两个部分：

1、结合拉格朗日算法和KKT条件对支持向量有一个定量的理解

    带约束条件的最优化问题，通常可以采用拉格朗日方法求解
    （1）约束条件为等式 ——> 偏导=0即可
    （2）约束条件为不等式 ——> 还需要满足KKT条件

    结合上述约束，将其带入硬间隔和软间隔支持向量机，可以通过拉格朗日乘子、惩罚因子以及松弛变量确定一个数据点是否为支持向量

2、对三种支持向量模型的最优化算法进行总结

    目标函数 —> 拉格朗日方程式 —> 对w,b求极小 —> 对a求极大 —> 用a表示w和b —> 决策函数

由于涉及的符号太多，所以就全部手写了，虽然字写飞了，但是饱含了满满的诚意，估计再过些日子看会感动的哭吧...

一、支持向量

二、算法