拉格朗日乘子法与KKT条件 && SVM中为什么要用对偶问题

参考链接：

拉格朗日乘子法和KKT条件

SVM为什么要从原始问题变为对偶问题来求解

为什么要用对偶问题

写在SVM之前——凸优化与对偶问题

1. 拉格朗日乘子法与KKT条件

 

 

 

 

2. SVM 为什么要从原始问题变为对偶问题来求解

1. 首先是我们有不等式约束方程，这就需要我们写成min max的形式来得到最优解。而这种写成这种形式对x不能求导，所以我们需要转换成max min的形式，这时候，x就在里面了，这样就能对x求导了。而为了满足这种对偶变换成立，就需要满足KKT条件（KKT条件是原问题与对偶问题等价的必要条件，当原问题是凸优化问题时，变为充要条件）。

2. . 对偶问题将原始问题中的约束转为了对偶问题中的等式约束
3. 方便核函数的引入
4. 改变了问题的复杂度。由求特征向量w转化为求比例系数a，在原始问题下，求解的复杂度与样本的维度有关，即w的维度。在对偶问题下，只与样本数量有关。