SVM(支持向量机)（二）—Lagrange Duality（拉格朗日对偶问题）

    （整理自AndrewNG的课件，转载请注明。整理者：华科小涛@http://www.cnblogs.com/hust-ghtao/）

    SVM有点让人头疼，但还是要弄明白。把这一大块搞懂了，会很有成就感的哦！今天先不谈SVM，先来说一下如何解决带约束的优化问题。

    假设我们有如下问题需要求解：

 

    ，这是一个带有等式约束的优化问题，下面让我们用拉格朗日乘数法（THE Method of Lagrange multipliers）来解决这个

 

问题，首先定义拉格朗日函数：

 

    ，其中就被成为拉格朗日乘子，然后就令的偏导分别为0就可求得参数：

 

    。这种方法就是我们学过的用拉格朗日乘数法求函数的极值。

 

    下面，让我们将这个问题扩展一下，引入不等式约束：

 

      ，同样我们定义更一般的拉格朗日函数：

 

    ，其中和称为拉格朗日乘子。