SVM

函数距离：

三种表示方式：

接下来是优化问题，首先是等式条件优化：

不等式条件优化：

KKT条件：

 

SVM原优化问题为：

拉格朗日：

满足约束条件中的“=”的点，不为零，权向量w是不为零的线性组合，不为零的样本数据为支持向量。

 

对偶问题：

 

min-max问题等价性：

 引入极小量，soft软间隔解决过拟合问题：