ML（附录4）——拉格朗日乘数法

　　基本的拉格朗日乘子法(又称为拉格朗日乘数法)，就是求函数 f(x₁,x₂,...) 在 g(x₁,x₂,...)=C 的约束条件下的极值的方法。其主要思想是引入一个新的参数 λ （即拉格朗日乘子），将约束条件函数与原函数联系到一起，使能配成与变量数量相等的等式方程，从而求出得到原函数极值的各个变量的解。拉格朗日乘子是数学分析中同一名词的推广。

什么是拉格朗日乘数法

　　简单地说，拉格朗日乘数法是用来最小化或最大化多元函数的。如果有一个方程f(x,y,z)，在这个方程里的变量之间不是独立的，也就是说这些变量之间是有联系的，这个联系可能是某个方程g(x,y,z) = C；也就是g(x,y,z) = C定义了x,y,z之间的关系，这个关系对变量做出了一定的的限制，我们需要在这个限制下来最小化或最大化f(x,y,z)。

　　这里的最值不能简单地使用临界点，因为临界点通常不满足关系方程g。如何解决这个问题呢？当这个限制g(x,y,z)非常简单的时候，我们可以解出其中一个变量的表达式，把这个表达式代入f(x,y,z)后求得最值，这也是中学阶段常用的方法。但问题是，很多时候我们并不能解出x,y,z，因为关系方程g太复杂了，这就需要一个全新的方法求解，拉格朗日乘数法就是其中一种。

寻找最值

　　示例：找出双曲线xy = 3上离原点最近的点。

　　如果(x, y)是曲线上的点，原点到该点的距离是：

　　求离原点最近的点实际上是求f(x,y)的最小值。可以使用一个更容易的方程去掉根号：

　　在计算最小值时候有一个限制是：

　　把这个较为简单的例子用等高线图表示：

　　很明显，当f和g相切的时候，能得到f的最小值。如果把双曲线看作自身的等高线，那么当f的等高线和g的等高线相切时，f值最小。实际上这也是找到最值的一般情形。

　　如果两个等高线相切，则二者在切点处的切线也相同，也就是说它们的梯度向量平行，即：

　　如果两个向量平行，则其中一个向量是另一个向量的倍数，由此得到：

　　这里的λ是一个常数，我们需要做的是找到这个λ和特定的(x,y)使得上式成立。这实际上是把2个变量加一个关系限制的最值问题转换为一个含有3个变量的方程组。

　　现在已经通过梯度向量平行，将原来的最值问题转换为一般的方程组，这个方程组被称为拉格朗日方程组，它的解就是最值点。

　　接下来就是解方程组，可以将其看作是关于xy的矩阵方程：

　　一个满足方程组的解是x = 0, y = 0，但这个解不满约束条件g(x,y) = xy = 3；此外，只有当系数行列式的值是0时，方程才有多个解：

　　把两个值分别代入方程组：

　　现在可以回答原问题，双曲线xy = 3距离原点最近的点有两个：(3^1/2, 3^1/2)和(-3^1/2, -3^1/2)。

　　在这个例子中，λ就是拉格朗日乘子。

最小值和最大值

　　拉格朗日乘数法并不会告诉我们最值的类型，结果可能是最大值、最小值或鞍点，由于存在限制条件，这里也不能像《多变量微积分3——二元函数的极值》那样使用二阶导数判断。那么如何判断是最大值还是最小值呢？只能通过将拉格朗日方程组的解代入问题方程f来判断。举例来说，如果有三组解，代入f后分别是4,6,9，在不存在边界值时，4就是最小值，9就是最大值；如果存在边界，还需要比较边界值。在双曲线的例子中，由于能够确定边界在无穷远处，所以其结果就是最小值。