拉格朗日乘数法，一种计算条件极值的方式

一、拉格朗日乘数法简介

在日常的生产生活中，当我们要要安排生产生活计划的时候，常常会在现实物理资源约束的条件下，计算得到收益最大或者损失最小的计划；像这种对自变量有附加条件的极值称为条件极值；拉格朗日乘数法是一种直接计算解决条件极值的方法；

拉格朗日乘数法的定义如下：

设有 $f(x, y), \varphi(x，y)$ 两个函数，并且两者都有一阶连续偏导数,则做拉格朗日函数为

F (x, y, λ) = f (x, y) + λ φ (x ， y)

$F(x, y, \lambda) = f(x, y) + \lambda \varphi(x，y)$

令函数F的各个偏导数 $F_{x} = 0, F_{y} = 0, F_{λ} = 0$ ,计算各个偏导数并联立方程得到

{\begin{matrix} f_{x} (x, y) + λ φ_{x} (x, y) = 0 \\ f_{y} (x, y) + λ φ_{y} (x, y) = 0 \\ φ (x, y) = 0 \end{matrix}

$\left\{\begin{matrix} f_{x}(x,y) + \lambda \varphi_{x}(x,y)=0 \\ f_{y}(x,y) + \lambda \varphi_{y}(x,y)=0 \\ \varphi(x,y)=0 \end{matrix}\right.$

由此方程组解出拉格朗日函数稳定点 $(x_{0}，y_{0}，λ_{0})$ ,则 $(x_{0}，y_{0})$ 就是函数 $f(x, y)$ 在附加条件 $\varphi(x,y)=0$ 下的可能极值点;

二、拉格朗日乘数法的推导

目标函数

\begin{matrix} (1) & f (x, y) = 0 \end{matrix}

$\begin{equation} f(x, y) = 0 \end{equation}$

约束条件

\begin{matrix} (2) & φ (x ， y) = 0 \end{matrix}

$\begin{equation} \varphi(x，y) = 0 \end{equation}$

如果函数(1)在点 $(x_{0}, y_{0})$ 得到极值，那么首先会满足约束条件

\begin{matrix} (3) & φ (x_{0} ， y_{0}) = 0 \end{matrix}

$\begin{equation} \varphi(x_{0}，y_{0}) = 0 \end{equation}$

设 $f(x, y)$ 与 $\varphi(x，y)$ 在点 $(x_{0}, y_{0})$ 的某个邻域内有连续偏导数，且满足

φ_{y} (x_{0} ， y_{0}) \neq 0

$\varphi_{y}(x_{0}，y_{0}) \ne 0$

由隐函数存在定理，式(2)在点 $(x_{0}, y_{0})$ 的某邻域内能唯一确定一个单值可导且具有连续导数的函数 $y=y(x)$ ，并且有 $y_{0}=f(x_{0})$ ,以及

\begin{matrix} (4) & {\frac{d y}{d x} |}_{x = x_{0}} = - \frac{φ_{x} (x_{0}, y_{0})}{φ_{y} (x_{0}, y_{0})} \end{matrix}

$\begin{equation} \left.\frac{\mathrm{d} y}{\mathrm{~d} x}\right|_{x=x_{0}}=-\frac{\varphi_{x}\left(x_{0}, y_{0}\right)}{\varphi_{y}\left(x_{0}, y_{0}\right)} \end{equation}$

将 $y=y(x)$ 带入公式(1)得到

\begin{matrix} (5) & z = f (x, y (x)) \end{matrix}

$\begin{equation} z = f(x, y(x)) \end{equation}$

公式(5)也同公式(1)在 $(x_{0}, y_{0})$ 处取的极值，有一元函数取得极值的必要条件可得

\begin{matrix} (6) & {\frac{d z}{d x} |}_{x = x_{0}} = f_{x} (x_{0}, y_{0}) + {f_{y} (x_{0}, y_{0}) \frac{d y}{d x} |}_{x = x_{0}} = 0 \end{matrix}

$\begin{equation} \left.\frac{\mathrm{d} z}{\mathrm{~d} x}\right|_{x=x_{0}}=f_{x}\left(x_{0}, y_{0}\right)+\left.f_{y}\left(x_{0}, y_{0}\right) \frac{\mathrm{d} y}{\mathrm{~d} x}\right|_{x=x_{0}}=0 \end{equation}$

将公式(4)带入公式(6)得到

\begin{matrix} (7) & f_{x} (x_{0}, y_{0}) - f_{y} (x_{0}, y_{0}) \cdot \frac{φ_{x} (x_{0}, y_{0})}{φ_{y} (x_{0}, y_{0})} = 0 \end{matrix}

$\begin{equation} f_{x}\left(x_{0}, y_{0}\right)-f_{y}\left(x_{0}, y_{0}\right) \cdot \frac{\varphi_{x}\left(x_{0}, y_{0}\right)}{\varphi_{y}\left(x_{0}, y_{0}\right)}=0 \end{equation}$

为了解出 $(x_{0}, y_{0})$ ，引入辅助变量

λ_{0} = - \frac{f_{y} (x_{0}, y_{0})}{φ_{y} (x_{0}, y_{0})}

$\lambda_{0}=-\frac{f_{y}\left(x_{0}, y_{0}\right)}{\varphi_{y}\left(x_{0}, y_{0}\right)}$

则公式(3)和公式(7)均成立等价于

\begin{matrix} (8) & {\begin{cases} f_{x} (x_{0}, y_{0}) + λ_{0} φ_{x} (x_{0}, y_{0}) = 0 \\ f_{y} (x_{0}, y_{0}) + λ_{0} φ_{y} (x_{0}, y_{0}) = 0 \\ φ (x_{0}, y_{0}) = 0 \end{cases} \end{matrix}

$\begin{equation} \left\{\begin{array}{l} f_{x}\left(x_{0}, y_{0}\right)+\lambda_{0} \varphi_{x}\left(x_{0}, y_{0}\right)=0 \\ f_{y}\left(x_{0}, y_{0}\right)+\lambda_{0} \varphi_{y}\left(x_{0}, y_{0}\right)=0 \\ \varphi\left(x_{0}, y_{0}\right)=0 \end{array}\right. \end{equation}$

在 $f(x, y), \varphi(x，y)$ 给定的前提下，我们可以通过公式(8)计算得到 $(x_{0}, y_{0}, \lambda_{0})$ ,我们可根据公式(8)的特点构造以下函数

F (x, y, λ) = f (x, y) + λ ϕ (x, y)

$F(x, y, \lambda)=f(x, y)+\lambda \phi(x, y)$

可以看到公式(8)等价 $F(x, y, \lambda)$ 的以下偏导数

{\begin{cases} F_{x} (x_{0}, y_{0}, λ_{0}) = 0 \\ F_{y} (x_{0}, y_{0}, λ_{0}) = 0 \\ F_{λ} (x_{0}, y_{0}, λ_{0}) = 0 \end{cases}

$\left\{\begin{array}{l} F_{x}\left(x_{0}, y_{0}, \lambda_{0}\right)=0 \\ F_{y}\left(x_{0}, y_{0}, \lambda_{0}\right)=0 \\ F_{\lambda}\left(x_{0}, y_{0}, \lambda_{0}\right)=0 \end{array}\right.$

通过以上推演过程，函数 $F(x, y, \lambda)$ 称为拉格朗日函数，参数λ称为拉格朗日乘数，点 $(x_{0}, y_{0}, \lambda_{0})$ 称为 $F(x, y, \lambda)$ 的驻点或稳定点.