支持向量机 Support Vector Machine

一、主要思想：最大间隔

间隔（最小距离；函数间隔与几何间隔）、对偶（KKT条件；拉格朗日乘数法）、核方法（低维直接算高维内积；Gram 矩阵半正定）

 

二、hard-margin

线性可分

 

三、soft-margin

基本上线性可分，允许存在一点点错误。

引入松弛变量

 

四、kernel trick

非线性

待更新

 

五、SMO

待更新

 

六、一般的约束优化问题和 KKT 条件