非线性规划——习题解答（七）

习题解答

1. 某厂向用户提供发动机。合同规定，第一、二、三季度末分别交货40台、60台、80台。每季度的生产费用为$f(x) = ax+bx^2$ ( 元 )，其中$x$是该季生产的台数。若交货后有剩余，可用于下季度交货，但需支付存储费，每台每季度$c$元。已知该厂每季度最大生产能力为100台，第一季度开始时无存货，设$a$=50、$b$=0.2、$c$=4，问工厂应如何安排生产计划，才能既满足合同又使总费用最低?讨论a,b,c变化对计划的影响。

解：设$x_1,x_2,x_3$分别表示工厂三季度生产的发动机数量。建立模型如下：

$$\min f=a\left( x_1+x_2+x_3 \right) +b\left( x_{1}^{2}+x_{2}^{2}+x_{3}^{2} \right) +c\left( 2x_1+x_2-140 \right)$$

$$s.t.\quad \begin{array}{c} x_1 \geq 40\\ x_1+x_2 \geqslant 100\\ x_1+x_2+x_3\geqslant 180\\ 0\leqslant x_1,x_2,x_3\leqslant 100\left( \text{整数} \right) \end{array}$$

问题的最优解为（50,60,70）。

2. 求解下面无约束非线性规划问题：

$$\min\quad f(x)=x_1^2+25x_2^2$$

其中$x=(x_1,x_2)^T$。要求选取初始点$x^{(0)}=(2,2)^T$，精度$\epsilon=10^{-6}$。
问题的最优解为（0,0）。

3. 试写出非线性规划问题

$$\min \quad f(X)=x_1^2+x_2^2-4x_1-8x_2$$

$$s.t. \quad x_1+x_2 \leq 2 \\ x_1 \geq 0,x_2 \geq 0$$

的Kuhn-Tucker条件（不求解）。
解： （1）改写非线性规划为标准形式，上述约束问题可改写为：

$$\min \quad f(X)=x_1^2+x_2^2-4x_1-8x_2$$

$$s.t. \quad g_1(X)=x_1+x_2-2 \leq 0 \\ x_1 \geq 0,x_2 \geq 0$$

（2）求目标函数和约束条件的梯度

$$\nabla f(X)=\left(\begin{array}{l} 2x_1-4 \\ 2x_2-8 \end{array}\right), \quad \nabla g_1(X)=\left(\begin{array}{l} 1 \\ 1 \end{array}\right)$$

（3）KT条件

$$\nabla f(X)+ \gamma_1 \nabla g_1(X) =\left(\begin{array}{l} 2x_1-4 \\ 2x_2-8 \end{array}\right)+\gamma_1\left(\begin{array}{l} 1 \\ 1 \end{array}\right)=0 \quad \gamma_1 \geq 0$$

注意：两个变量的取值都是非负，为KT条件更为约减，没有变成约束。

4. 求解下面非线性规划问题

$$\begin{array}{l} \min \quad f(x) = x_1^2 + x_2^2 + x_3^2 + 8\\ s.t. \quad \left\{ {\begin{array}{*{20}{c}} {x_1^2 - {x_2} + x_3^2 \ge 0}\\ {{x_1} + x_2^2 + x_3^3 \le 20}\\ { - {x_1} - x_2^2 + 2 = 0}\\ {{x_2} + 2x_3^2 = 3}\\ {{x_1},{x_2},{x_3} \ge 0} \end{array}} \right. \end{array}$$

最优解为（0.552,1.203,0.948），最优值为10.651。

5. 考虑非线性规划问题

$$min \quad (x_{1}-3)^2+(x_{2}-2)^2\\ -x_{1}^{2}-x_{2}^{2}\geqslant 5\\ x_{1}+2x_{2}= 4\\ x_{1}, x_{2}\geqslant 0$$

检验$X^{(1)}=(2,1)^{^{T}}$，是否为KT点。
解：（1）改写非线性规划为标准形式，上述约束问题可改写为：

$$min \quad f(X)= (x_{1}-3)^2+(x_{2}-2)^2 \\ g_1(X)=x_{1}^{2}+x_{2}^{2}-5 \leqslant 0\\ g_2(X)=x_{1}+2x_{2}-4=0\\ x_{1}, x_{2}\geqslant 0$$

将$X^{(1)}=(2,1)^{^{T}}$代入上述约束条件，发现$X^{(1)}$正好在前两个约束条件的边界上，因此前两个约束是起作用约束。
（2）求目标函数和约束条件的梯度

$$\nabla f(X)=\left(\begin{array}{l} 2 (x_1-3) \\ 2(x_2-2) \end{array}\right), \quad \nabla g_1(X)=\left(\begin{array}{l} 2 x_1 \\ 2 x_2 \end{array}\right), \quad \nabla g_2(X)=\left(\begin{array}{l} 1 \\ 2 \end{array}\right)$$

（3）判断是否满足KT条件

$$\nabla f\left(X^{(1)}\right)+ \gamma_1 \nabla g_1\left(X^{(1)}\right)+\mu_1 \nabla g_2\left(X^{(1)}\right)=\left(\begin{array}{l} -2 \\ -2 \end{array}\right)+\gamma_1\left(\begin{array}{l} 4 \\ 2 \end{array}\right)+\mu_1\left(\begin{array}{l} 1 \\ 2 \end{array}\right)=\left(\begin{array}{l} 0 \\ 0 \end{array}\right)$$

得 $\gamma_1=\frac{1}{3}>0, \mu_1=\frac{2}{3}$, 故 $X^{(1)}=(2,1)^{^{T}}$ 满足 Kuhn-Tucker 条 件。

6. 用梯度法（最速下降法）求下述函数的极小点。

$$f(X) = (x_1 - 2)^2 + (x_2 - 1)^2$$

解：取初始点 $X^{(0)} = (0, 0)^T$。

• 计算梯度和 Hessian 矩阵

$$\nabla f(X) = [2(x_1 - 2), 2(x_2 - 1)]^T, \quad \nabla f(X^{(0)}) = (-4, -2)^T$$

$$\nabla^2 f(X) = \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix}$$

• 计算步长 $\lambda_0$

$$\lambda_0 = \frac{\nabla f(X^{(0)})^T \nabla f(X^{(0)})}{\nabla f(X^{(0)})^T \nabla^2 f(X) \nabla f(X^{(0)})} = \frac{(-4, -2) \begin{pmatrix} -4 \\ -2 \end{pmatrix}}{(-4, -2) \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix} \begin{pmatrix} -4 \\ -2 \end{pmatrix}} = \frac{20}{40} = \frac{1}{2}$$

• 更新点 $X^{(1)}$

$$X^{(1)} = X^{(0)} - \lambda_0 \nabla f(X^{(0)}) = \begin{pmatrix} 0 \\ 0 \end{pmatrix} - \frac{1}{2} \begin{pmatrix} -4 \\ -2 \end{pmatrix} = \begin{pmatrix} 2 \\ 1 \end{pmatrix}$$

• 检查梯度

$$\nabla f(X^{(1)}) = (0, 0)^T, \quad \text{故 } X^{(1)} \text{为极小点，其极小值 } f(X^{(1)}) = 0。$$

7. 用梯度法（最速下降法）求函数$f(X) = x_1^2 + 5x_2^2$的极小点，取允误差$\varepsilon = 0.7$。

解：取初始点 $X^{(0)} = (2, 1)^T$。

$$\nabla f(X) = (2x_1, 10x_2)^T, \quad \nabla f(X^{(0)}) = (4, 10)^T$$

$$\nabla^2 f(X) = \begin{pmatrix} 2 & 0 \\ 0 & 10 \end{pmatrix}$$

• 计算步长$\lambda_0$

$$\lambda_0 = \frac{\nabla f(X^{(0)})^T \nabla f(X^{(0)})}{\nabla f(X^{(0)})^T \nabla^2 f(X) \nabla f(X^{(0)})} = \frac{(4, 10) \begin{pmatrix} 4 \\ 10 \end{pmatrix}}{(4, 10) \begin{pmatrix} 2 & 0 \\ 0 & 10 \end{pmatrix} \begin{pmatrix} 4 \\ 10 \end{pmatrix}} = 0.1124$$

• 更新点$X^{(1)}$

$$X^{(1)} = X^{(0)} - \lambda_0 \nabla f(X^{(0)}) = \begin{pmatrix} 2 \\ 1 \end{pmatrix} - 0.1124 \begin{pmatrix} 4 \\ 10 \end{pmatrix} = \begin{pmatrix} 1.5504 \\ -0.1240 \end{pmatrix}$$

• 计算新梯度$\nabla f(X^{(1)})$

$$\nabla f(X^{(1)}) = \begin{pmatrix} 3.1008 \\ -1.2400 \end{pmatrix}$$

$$\|\nabla f(X^{(1)})\|^2 = 11.1526 > \varepsilon$$

由于梯度的平方范数大于允许误差$\varepsilon$，算法未收敛，需继续迭代。

• 第二次迭代 $\lambda_1$ 的计算

$$\lambda_1 = \frac{\nabla f(X^{(1)})^T \nabla f(X^{(1)})}{\nabla f(X^{(1)})^T \nabla^2 f(X) \nabla f(X^{(1)})} = \frac{ \begin{pmatrix} 3.1008 \\ -1.2400 \end{pmatrix}^T \begin{pmatrix} 3.1008 \\ -1.2400 \end{pmatrix} }{ \begin{pmatrix} 3.1008 \\ -1.2400 \end{pmatrix}^T \begin{pmatrix} 2 & 0 \\ 0 & 10 \end{pmatrix} \begin{pmatrix} 3.1008 \\ -1.2400 \end{pmatrix} } = 0.3223$$

更新点 $X^{(2)}$：

$$X^{(2)} = X^{(1)} - \lambda_1 \nabla f(X^{(1)}) = \begin{pmatrix} 1.5504 \\ -0.1240 \end{pmatrix} - 0.3223 \begin{pmatrix} 3.1008 \\ -1.2400 \end{pmatrix} = \begin{pmatrix} 0.5510 \\ 0.2757 \end{pmatrix}$$

计算新的梯度 $\nabla f(X^{(2)})$：

$$\nabla f(X^{(2)}) = \begin{pmatrix} 1.102 \\ 2.757 \end{pmatrix}, \quad \|\nabla f(X^{(2)})\|^2 = 8.815 > \varepsilon$$

• 第三次迭代 $\lambda_2$ 的计算

$$\lambda_2 = \frac{ \begin{pmatrix} 1.102 \\ 2.757 \end{pmatrix}^T \begin{pmatrix} 1.102 \\ 2.757 \end{pmatrix} }{ \begin{pmatrix} 1.102 \\ 2.757 \end{pmatrix}^T \begin{pmatrix} 2 & 0 \\ 0 & 10 \end{pmatrix} \begin{pmatrix} 1.102 \\ 2.757 \end{pmatrix} } = 0.1124$$

更新点 $X^{(3)}$：

$$X^{(3)} = X^{(2)} - \lambda_2 \nabla f(X^{(2)}) = \begin{pmatrix} 0.5510 \\ 0.2757 \end{pmatrix} - 0.1124 \begin{pmatrix} 1.102 \\ 2.757 \end{pmatrix} = \begin{pmatrix} 0.4271 \\ -0.03419 \end{pmatrix}$$

计算新的梯度 $\nabla f(X^{(3)})$：

$$\nabla f(X^{(3)}) = \begin{pmatrix} 0.8542 \\ -0.3419 \end{pmatrix}, \quad \|\nabla f(X^{(3)})\|^2 = 0.8466 > \varepsilon$$

• 第四次迭代 $\lambda_3$ 的计算

$$\lambda_3 = \frac{ \begin{pmatrix} 0.8542 \\ -0.3419 \end{pmatrix}^T \begin{pmatrix} 0.8542 \\ -0.3419 \end{pmatrix} }{ \begin{pmatrix} 0.8542 \\ -0.3419 \end{pmatrix}^T \begin{pmatrix} 2 & 0 \\ 0 & 10 \end{pmatrix} \begin{pmatrix} 0.8542 \\ -0.3419 \end{pmatrix} } = 0.3221$$

更新点 $X^{(4)}$：

$$X^{(4)} = X^{(3)} - \lambda_3 \nabla f(X^{(3)}) = \begin{pmatrix} 0.4271 \\ -0.03419 \end{pmatrix} - 0.3221 \begin{pmatrix} 0.8542 \\ -0.3419 \end{pmatrix} = \begin{pmatrix} 0.152 \\ 0.0759 \end{pmatrix}$$

计算新的梯度 $\nabla f(X^{(4)})$：

$$\nabla f(X^{(4)}) = \begin{pmatrix} 0.304 \\ 0.759 \end{pmatrix}, \quad \|\nabla f(X^{(4)})\|^2 = 0.6685 < \varepsilon$$

故 $X^{(4)} = (0.152, 0.0759)^T$ 为近似极小点，此时的函数值为：$f(X^{(4)}) = 0.0519$。

8. 用库恩—塔克条件求解下面非线性规划

$$\max f(x) = (x - 4)^2\\ 1 \leq x \leq 6$$

解:先将其变为问题标准的形式：

$$\begin{cases} \min f(x) = -(x - 4)^2, \\ g_1(x) = x - 1 \geq 0, \\ g_2(x) = 6 - x \geq 0. \end{cases}$$

设$K-T$点为$x^*$，各函数的梯度为：

$$\nabla f(x) = -2(x - 4), \quad \nabla g_1(x) = 1, \quad \nabla g_2(x) = -1.$$

对第一个和第二个约束条件分别引入广义拉格朗日乘子$u_1^*$、$u_2^*$，则得该问题的$K-T$条件如下：

$$\begin{cases} -2(x^* - 4) - u_1^* - u_2^* = 0, \\ u_1^* (x^* - 1) = 0, \\ u_2^* (6 - x^*) = 0, \\ u_1^* \geq 0, \ u_2^* \geq 0. \end{cases}$$

为解该方程组，需要考虑以下几种情况：

• $u_1^* > 0, u_2^* > 0$：无解。

• $u_1^* > 0, u_2^* = 0$：$x^* = 1, \ f(x^*) = 9$

• $u_1^* = 0, u_2^* = 0$：$x^* = 4, \ f(x^*) = 0$

• $u_1^* = 0, u_2^* > 0$：$x^* = 6, \ f(x^*) = 4$

对应上述后面三种情形，我们得到了三个$K-T$ 点，其中：

• $x^* = 1$和 $x^* = 6$ 为极大值点，且 $x^* = 1$为最大值点，最大值$f(x^*) = 9$；
• $x^* = 4$为可行域的内点，它不是该问题的极大值点，而是极小点。

9. 用罚函数法求解

$$\begin{cases} \min f(x) = \left( x - \frac{1}{2} \right)^2, \\ x \leq 0 \end{cases}$$

解 构造罚函数

$$P(x, M) = f(x) + M \left[ \min(0, g(x)) \right]^2 = \left( x - \frac{1}{2} \right)^2 + M \left[ \min(0, -x) \right]^2$$

对于固定的$M$，令

$$\frac{dP(x, M)}{dx} = 2 \left( x - \frac{1}{2} \right) - 2M \left[ \min(0, -x) \right] = 0$$

对于不满足约束条件的点$x$，有

$$2 \left( x - \frac{1}{2} \right) + 2Mx = 0$$

从而求得其最小值点$x(M)$如下：

$$x(M) = \frac{1}{2(1 + M)}$$

当 $M = 0$时，$x(M) = \frac{1}{2}$；当$M = 1$时，$x(M) = \frac{1}{4}$;
当$M = 10$时，$x(M) = \frac{1}{22}$；当$M \to \infty$时，$x(M) \to 0$，说明原约束问题的极小点是$x^* = 0$。

10 用罚函数法求解

$$\begin{cases} \min f(X) = x_1 \\ g_1(X) = 2 - x_2 - (x_1 - 1)^3 \geq 0 \\ g_2(X) = x_2 - 2 - (x_1 - 1)^3 \geq 0 \\ g_3(X) = x_1 \geq 0 \\ g_4(X) = x_2 \geq 0 \end{cases}$$

解 构造罚函数

$$\begin{aligned} P(X, M) = & -x_1 + M \left[ 2 - x_2 - (x_1 - 1)^3 \right]^2 u_1 \big( g_1(X) \big) \\ & + M \left[ x_2 - 2 - (x_1 - 1)^3 \right]^2 u_2 \big( g_2(X) \big) \\ & + Mx_1^2 u_3 \big( g_3(X) \big) + Mx_2^2 u_4 \big( g_4(X) \big) \end{aligned}$$

$$\begin{aligned} \frac{\partial P(X, M)}{\partial x_1} = & -1 - 6M \left[ 2 - x_2 - (x_1 - 1)^3 \right] (x_1 - 1)^2 u_1 \big( g_1(X) \big) \\ & - 6M \left[ x_2 - 2 - (x_1 - 1)^3 \right] (x_1 - 1)^2 u_2 \big( g_2(X) \big) \\ & + 2Mx_1 u_3 \big( g_3(X) \big) \end{aligned}$$

$$\frac{\partial P(X, M)}{\partial x_2} = -2 M \left[ 2 - x_2 - (x_1 - 1)^3 \right] u_1(g_1(X)) + 2 M \left[ x_2 - 2 - (x_1 - 1)^3 \right] u_2(g_2(X))$$

$$+ 2 M x_2 u_4(g_4(X))$$

现考虑第一象限中的点，可令

$$u_1(g_1(X)) = u_2(g_2(X)) = 1$$

$$u_3(g_3(X)) = u_4(g_4(X)) = 0$$

为求极值点，令

$$\frac{\partial P(X, M)}{\partial x_2} = 0$$

得到$x_2^* = 2$

再令 $\frac{\partial P(X, M)}{\partial x_1} = 0$，并代入上述结果，得

$$(x_1 - 1)^5 = \frac{1}{12 M}$$

令 $M \rightarrow \infty$，得 $x_1^* = 1$，即该问题的最优点是$X^* = (1, 2)^T$。

11. 用共轭下降法计算函数 $f(x_1, x_2) = x_1^2 + x_2^2 - x_1 x_2 + x_1 + x_2 + 1$ 的极小点和极小值，设初始点为 $x^0 = (0,0)^T$，迭代误差为 $\varepsilon = 0.05$。

解 因为函数 $f(x_1, x_2)$ 的梯度为：$\nabla f(x_1, x_2) = \begin{pmatrix} 2x_1 - x_2 + 1 \ 2x_2 - x_1 + 1 \end{pmatrix}$，那么在点 $x^0 = \begin{pmatrix} 0 \ 0 \end{pmatrix}$ 的梯度值等于：$\nabla f(x^0) = \begin{pmatrix} 1 \ 1 \end{pmatrix}$。令 $d^0 = -\nabla f(x^0) = \begin{pmatrix} -1 \ -1 \end{pmatrix}$，则有

$$x^1 = x^0 + \alpha d^0 = \begin{pmatrix} 0 \\ 0 \end{pmatrix} + \alpha \begin{pmatrix} -1 \\ -1 \end{pmatrix} = \begin{pmatrix} -\alpha \\ -\alpha \end{pmatrix}$$

将 $x^1$ 代入目标函数中，有：$f(x^1) = \alpha^2 + 2\alpha + 1$，求解步长 $\alpha_0$，使得

$$f(x^0 + \alpha_0 d^0) = \min_{\alpha \geq 0} \{ \alpha^2 + 2\alpha + 1 \}$$

为此，令 $\frac{d}{d\alpha} (\alpha^2 + 2\alpha + 1) = 2\alpha + 2 = 0$，求得 $\alpha_0 = -1$，所以，

$$x^1 = x^0 + \alpha_0 d^0 = \begin{pmatrix} 0 \\ 0 \end{pmatrix} -1 \begin{pmatrix} -1 \\ -1 \end{pmatrix} = \begin{pmatrix} 1 \\ 1 \end{pmatrix}$$

计算 $f(x_1, x_2)$ 在点 $x^1$ 处的梯度值，有 $\nabla f(x^1) = \begin{pmatrix} 2 \ 2 \end{pmatrix}$。计算 $f(x_1, x_2)$ 在点 $x^1$ 处的搜索方向：

$$\begin{align*} \beta_1 &= \left( \frac{\|\nabla f(x^1)\|}{\|\nabla f(x^0)\|} \right)^2 = \left( \frac{\sqrt{(2)^2 + (2)^2}}{\sqrt{1^2 + 1^2}} \right)^2 = 4 \\ d^1 &= -\nabla f(x^1) + \beta_1 d^0 = -\begin{pmatrix} 2 \\ 2 \end{pmatrix} + 4 \begin{pmatrix} -1 \\ -1 \end{pmatrix} = \begin{pmatrix} -6 \\ -6 \end{pmatrix} \\ x^2 &= x^1 + \alpha d^1 = \begin{pmatrix} 1 \\ 1 \end{pmatrix} + \alpha \begin{pmatrix} -6 \\ -6 \end{pmatrix} = \begin{pmatrix} 1 - 6\alpha \\ 1 - 6\alpha \end{pmatrix} \end{align*}$$

将 $x^2$ 代入目标函数中，有：$f(x^2) = 36\alpha^2 - 24\alpha + 4$，求解步长 $\alpha_1$，使得

$$f(x^1 + \alpha_1 d^1) = \min_{\alpha \geq 0} \{ 36\alpha^2 - 24\alpha + 4 \}$$

为此，令 $\frac{d}{d\alpha} (36\alpha^2 - 24\alpha + 4) = 72\alpha - 24 = 0$，求得 $\alpha_1 = \frac{1}{3}$，所以，

$$x^2 = x^1 + \alpha_1 d^1 = \begin{pmatrix} 1 \\ 1 \end{pmatrix} + \frac{1}{3} \begin{pmatrix} -6 \\ -6 \end{pmatrix} = \begin{pmatrix} -1 \\ -1 \end{pmatrix}$$

计算 $f(x_1, x_2)$ 在点 $x^2$ 处的梯度值：$\nabla f(x^2) = \begin{pmatrix} 0 \ 0 \end{pmatrix}$，由于 $|\nabla f(x^2)| = 0 \leq 0.05$，那么 $x^2$ 是局部极小点，对应 $x^2$ 的局部极小值为 $f(-1, -1) = 0$，迭代结束。

12. 文化传播公司预算 10,000 元的广告投入。电视广告费为每分钟 3,000 元；电台广告费为每分钟 1,000 元。如果公司购买 $x$ 分钟电视广告，和 $y$ 分钟电台广告，其销售收入为：

$$f(x, y) = -2x^2 - y^2 + xy + 8x + 3y$$

问公司是否有增加广告预算的余地？

解 我们将它表示成下述非线性规划问题：

$$\min f(x, y) = -2x^2 - y^2 + xy + 8x + 3y$$

$$\text{s.t.} \begin{cases} 3x + y = 10 \\ x \geq 0, y \geq 0 \end{cases}$$

那么 $$L(x, y, \lambda) = -2x^2 - y^2 + xy + 8x + 3y + \lambda(10 - 3x - y)$$
我们设：

$$\frac{\partial L}{\partial x} = \frac{\partial L}{\partial y} = \frac{\partial L}{\partial \lambda} = 0$$

则：

$$\begin{align*} \frac{\partial L}{\partial x} &= -4x + y + 8 - 3\lambda = 0 \\ \frac{\partial L}{\partial y} &= -2y + x + 3 - \lambda = 0 \\ \frac{\partial L}{\partial \lambda} &= 10 - 3x - y = 0 \end{align*}$$

求解后，获得：

$$x^* = \frac{69}{28}, \quad y^* = \frac{73}{28}, \quad \lambda^* = \frac{1}{4}$$

因为 $\lambda^* = \frac{1}{4}$，这说明如果该公司继续增加广告预算，比如说，$\delta$（元），就可增加 $0.25\delta$（元）销售收入。

13. 假设你是一家公司的销售经理，负责优化某个产品的销售策略。根据历史数据和市场分析，你确定了一个销售指标公式 $f(x) = -x_1 - x_2 + 2x_1^2 + 2x_1x_2 + x_2^2$ 来评估不同的销售策略，其中，销售策略的参数由 $x_1$ 和 $x_2$ 描述，表示采用不同的促销手段和定价策略，为了确保销售策略的可行性，促销手段和定价策略均不能为负值。根据给定的指标公式，你应该如何确定最佳的销售策略参数，以使得该指标最小？(终止误差 $\varepsilon = 0.3$ )

解 根据题目可得出

$$\min f(x) = -x_1 - x_2 + 2x_1^2 + 2x_1x_2 + x_2^2$$

取初始点为 $X^{(1)} = (0,0)^T, \varepsilon = 0.3$

目标函数 $f(x)$ 的梯度为:

$$\nabla f(x) = \begin{bmatrix} \frac{\partial f(x)}{\partial x_1} \\ \frac{\partial f(x)}{\partial x_2} \end{bmatrix} = \begin{bmatrix} -1 + 4x_1 + 2x_2 \\ -1 + 2x_1 + 2x_2 \end{bmatrix}$$

即 $\nabla f(X^{(1)}) = \begin{bmatrix} -1 \ -1 \end{bmatrix}$，由于 $|\nabla f(X^{(1)})| \approx 1.4142 > 0.3$，令搜索方向 $d^{(1)} = -\nabla f(X^{(1)}) = \begin{bmatrix} 1 \ 1 \end{bmatrix}$，再从 $X^{(1)}$ 出发，沿 $d^{(1)}$ 方向作一维寻优，令步长变量为 $\lambda$，最优步长为 $\lambda_1$，则有

$$X^{(1)} + \lambda d^{(1)} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} + \lambda \begin{bmatrix} 1 \\ 1 \end{bmatrix} = \begin{bmatrix} \lambda \\ \lambda \end{bmatrix}$$

故 $f(x) = f(X^{(1)} + \lambda d^{(1)}) = -\lambda - \lambda + 2\lambda^2 + 2\lambda\lambda + \lambda^2 = 5\lambda^2 - 2\lambda = \varphi_1(\lambda)$ 令 $\varphi_1'(\lambda) = 10\lambda - 2 = 0$，可得 $\lambda_1 = \frac{1}{5}, X^{(2)} = X^{(1)} + \lambda_1 d^{(1)} = \begin{bmatrix} 0 \ 0 \end{bmatrix} + \frac{1}{5} \begin{bmatrix} 1 \ 1 \end{bmatrix} = \begin{bmatrix} 0.2 \ 0.2 \end{bmatrix}$ 求出 $X^{(2)}$ 点之后，与上类似地，进行第二次迭代：$\nabla f(X^{(2)}) = \begin{bmatrix} 0.2 \ -0.2 \end{bmatrix}$

由于 $|\nabla f(X^{(2)})| \approx 0.2828 < 0.3$，故 $X^{(2)} = \begin{bmatrix} 0.2 \ 0.2 \end{bmatrix}$ 为近似极小点，此时的函数值 $f(X^*) = 0.48$。

14. 某一施工单位希望设计一座跨越一条河流的桥梁，为了提高桥梁的性能，需要使得函数 $f(x) = 2x_1^2 + 2x_1x_2 + x_2^2 - 10x_1 - 10x_2$ 最小，希望桥梁在材料使用和结构设计上能够达到最佳的效果，以提高桥梁的承重能力、稳定性和耐久性。其中，变量 $x_1$ 和 $x_2$ 分别代表桥梁的设计参数。为了避免过分复杂的结构和不切实际的设计，桥梁的设计参数的取值必须满足 $x_1^2 + x_2^2 \leq 5$。另外，桥梁的设计参数 $x_1$ 和 $x_2$ 的线性组合必须满足 $3x_1 + x_2 \leq 6$。

根据上述对问题的描述，可以明确的看出该优化问题是在有约束条件下求取最小值，我们可以使用库恩-塔克条件来解决。通过对约束条件引入广义拉格朗日乘子，分情况对引入的约束条件进行讨论，如果可以找到一组满足库恩-塔克条件的可行点和广义拉格朗日乘子，就能够找到该问题的最优点。

$$\begin{align*} \min f(X) &= 2x_1^2 + 2x_1x_2 + x_2^2 - 10x_1 - 10x_2 \\ \text{s.t.} &\left\{ \begin{array}{l} x_1^2 + x_2^2 \leq 5 \\ 3x_1 + x_2 \leq 6 \end{array} \right. \end{align*}$$

解 将约束条件化成一般形式：

$$\left\{ \begin{array}{l} g_1(X) = -x_1^2 - x_2^2 + 5 \geq 0 \\ g_2(X) = -3x_1 - x_2 + 6 \geq 0 \end{array} \right.$$

设库恩-塔克点位 $X^* = (x_1, x_2)^T$，各函数梯度为

$$\nabla f(X^*) = \begin{bmatrix} 4x_1 + 2x_2 - 10 \\ 2x_1 + 2x_2 - 10 \end{bmatrix}, \quad \nabla g_1(X^*) = \begin{bmatrix} -2x_1 \\ -2x_2 \end{bmatrix}, \quad \nabla g_2(X^*) = \begin{bmatrix} -3 \\ -1 \end{bmatrix}$$

对约束条件进入广义拉格朗日乘子 $\mu_1^*$ 和 $\mu_2^*$，得该问题的库恩-塔克条件如下：

$$\left\{ \begin{array}{l} \begin{bmatrix} 4x_1 + 2x_2 - 10 \\ 2x_1 + 2x_2 - 10 \end{bmatrix} - \mu_1 \begin{bmatrix} -2x_1 \\ -2x_2 \end{bmatrix} - \mu_2 \begin{bmatrix} -3 \\ -1 \end{bmatrix} = 0 \\ \mu_1(5 - x_1^2 - x_2^2) = 0 \\ \mu_2(6 - 3x_1 - x_2) = 0 \\ \mu_1 \geq 0 \\ \mu_2 \geq 0 \end{array} \right.$$

$$\left\{ \begin{array}{l} 4x_1 + 2x_2 - 10 + 2\mu_1 x_1 + 3\mu_2 = 0 \\ 2x_1 + 2x_2 - 10 + 2\mu_1 x_2 + \mu_2 = 0 \\ \mu_1(5 - x_1^2 - x_2^2) = 0 \\ \mu_2(6 - 3x_1 - x_2) = 0 \\ \mu_1 \geq 0 \\ \mu_2 \geq 0 \end{array} \right.$$

(1) 两个约束都是不起作用约束，则有 $\mu_1 = 0, \mu_2 = 0$，得到方程组：

$$\left\{ \begin{array}{l} 4x_1 + 2x_2 - 10 = 0 \\ 2x_1 + 2x_2 - 10 = 0 \end{array} \right.$$

解得：

$$\left\{ \begin{array}{l} x_1 = 0 \\ x_2 = 5 \end{array} \right.$$

代入约束条件，不满足 $g_i(X) \geq 0$，因此该点不是可行点。

(2) $g_1(X) \geq 0$ 是起作用约束，$g_2(X) \geq 0$ 是不起作用约束，则有 $\mu_2 = 0$，得到方程组：

$$\left\{ \begin{array}{l} 4x_1 + 2x_2 - 10 + 2\mu_1 x_1 = 0 \\ 2x_1 + 2x_2 - 10 + 2\mu_1 x_2 = 0 \\ \mu_1(5 - x_1^2 - x_2^2) = 0 \\ \mu_1 \geq 0 \end{array} \right.$$

解得：

$$\left\{ \begin{array}{l} x_1 = 1 \\ x_2 = 2 \\ \mu_1 = 1 \\ \mu_2 = 0 \end{array} \right.$$

代入原问题检验，可知该点为可行点，且满足 K-T 定理的条件，又是一个正则点，故它是一个 K-T 点。

因为 $g_1(X) \geq 0$ 是起作用约束，此时可以是 $\mu_1 > 0$，也可以是 $\mu_1 = 0$，后一种情况与(1)相同，已知不可行。

(3) $g_1(X) \geq 0$ 是不起作用约束，$g_2(X) \geq 0$ 是起作用约束，则 $\mu_1 = 0$

$$\left\{ \begin{array}{l} 4x_1 + 2x_2 - 10 + 3\mu_2 = 0 \\ 2x_1 + 2x_2 - 10 + \mu_2 = 0 \\ \mu_2(6 - 3x_1 - x_2) = 0 \\ \mu_2 \geq 0 \end{array} \right.$$

解得 $\mu_2 = 0$，同(1)的结果；或 $\mu_2 = -\frac{2}{5}$，舍去。

(4) 两个约束都是起作用约束，则 $\mu_1 > 0, \mu_2 > 0$

$$\left\{ \begin{array}{l} 4x_1 + 2x_2 - 10 + 2\mu_1 x_1 + 3\mu_2 = 0 \\ 2x_1 + 2x_2 - 10 + 2\mu_1 x_2 + \mu_2 = 0 \\ 5 - x_1^2 - x_2^2 = 0 \\ 6 - 3x_1 - x_2 = 0 \end{array} \right.$$

解得

$$\left\{ \begin{array}{l} x_1 = 1.43 \\ x_2 = 1.72 \\ \mu_1 = 1.37 \\ \mu_2 = -1.02 \end{array} \right.$$

舍去。

因此本题的 K-T 点为 $X^* = (1, 2)^T$，同时本题 $f(X)$ 为凸函数，而 $g_1(X) \geq 0$ 为凹函数，$g_2(X) \geq 0$ 为线性函数，也可视为凹函数，所以此题为凸规划。对于凸规划 K-T 条件也是充分条件，所以 $X^* = (1, 2)^T$ 也是本题的全局最小点，最小值。

15. 利用可行方向法求解以下非线性规划问题

$$\min f(X) = x_1^2 + x_2^2 - 4x_1 - 4x_2 + 8, \quad x_1 + 2x_2 - 4 \leq 0$$

从初始点 $X^{(0)} = \begin{bmatrix} 0 \ 0 \end{bmatrix}$ 出发，进行迭代求解。

初始化

• 初始点：$X^{(0)} = \begin{bmatrix} 0 \ 0 \end{bmatrix}$
• 约束检查： $g(X^{(0)}) = x_1 + 2x_2 - 4 = 0 + 2 \cdot 0 - 4 = -4 \leq 0$ 初始点满足约束条件，可行。

可行方向法步骤

• 梯度计算

目标函数：

$$f(X) = x_1^2 + x_2^2 - 4x_1 - 4x_2 + 8$$

其梯度为：

$$\nabla f(X) = \begin{bmatrix} 2x_1 - 4 \\ 2x_2 - 4 \end{bmatrix}$$

约束函数：

$$g(X) = x_1 + 2x_2 - 4$$

其梯度为：

$$\nabla g(X) = \begin{bmatrix} 1 \\ 2 \end{bmatrix}$$

在初始点 $X^{(0)} = \begin{bmatrix} 0 \ 0 \end{bmatrix}$ 处：

$$\nabla f(X^{(0)}) = \begin{bmatrix} -4 \\ -4 \end{bmatrix}, \quad \nabla g(X^{(0)}) = \begin{bmatrix} 1 \\ 2 \end{bmatrix}$$

• 求下降方向

可行方向需满足以下条件：
$d^T \nabla f(X) < 0$（目标函数下降）。
$d^T \nabla g(X) \leq 0$（满足约束条件）。

设下降方向为 $d = \begin{bmatrix} d_1 \ d_2 \end{bmatrix}$，联立解得：

$$d = -\nabla f(X^{(0)}) = \begin{bmatrix} 4 \\ 4 \end{bmatrix}$$

• 线搜索

在线搜索中，寻找步长 $\alpha$，使得 $f(X^{(0)} + \alpha d)$ 最小。

将方向 $d = \begin{bmatrix} 4 \ 4 \end{bmatrix}$ 和初始点 $X^{(0)} = \begin{bmatrix} 0 \ 0 \end{bmatrix}$ 代入目标函数：

$$f(X^{(0)} + \alpha d) = f\left(\begin{bmatrix} 4\alpha \\ 4\alpha \end{bmatrix}\right)$$

目标函数展开为：

$$f(X) = x_1^2 + x_2^2 - 4x_1 - 4x_2 + 8$$

代入 $X = \begin{bmatrix} 4\alpha \ 4\alpha \end{bmatrix}$：

$$f(\alpha) = (4\alpha)^2 + (4\alpha)^2 - 4(4\alpha) - 4(4\alpha) + 8$$

化简为：

$$f(\alpha) = 32\alpha^2 - 32\alpha + 8$$

这是一个开口向上的二次函数，最小值对应顶点：

$$\alpha = -\frac{b}{2a} = -\frac{-32}{2 \cdot 32} = \frac{1}{2}$$

• 更新变量

根据更新公式：

$$X^{(1)} = X^{(0)} + \alpha d = \begin{bmatrix} 0 \\ 0 \end{bmatrix} + \frac{1}{2} \begin{bmatrix} 4 \\ 4 \end{bmatrix} = \begin{bmatrix} 2 \\ 2 \end{bmatrix}$$

• 检查约束

在新点 $X^{(1)} = \begin{bmatrix} 2 \ 2 \end{bmatrix}$ 处：

$$g(X^{(1)}) = x_1 + 2x_2 - 4 = 2 + 2 \cdot 2 - 4 = 2 \leq 0$$

约束条件仍然满足。

• 梯度重新计算

在 $X^{(1)}$ 处，计算目标函数梯度：

$$\nabla f(X^{(1)}) = \begin{bmatrix} 2x_1 - 4 \\ 2x_2 - 4 \end{bmatrix} = \begin{bmatrix} 2 \cdot 2 - 4 \\ 2 \cdot 2 - 4 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix}$$

梯度为零，说明已经达到最优解。

• 最终结果

最优解为：

$$X^* = \begin{bmatrix} 2 \\ 2 \end{bmatrix}$$

目标函数值：

$$f(X^*) = 2^2 + 2^2 - 4 \cdot 2 - 4 \cdot 2 + 8 = 0$$

16. 使用共轭梯度法求解以下二次函数的极小点

$$f(X) = \frac{1}{2} X^T A X$$

其中：

$$A = \begin{bmatrix} 1 & 1 \\ 1 & 2 \end{bmatrix}$$

共轭梯度法的主要步骤包括：

初始化变量和参数。
计算初始梯度，确定搜索方向。
使用线搜索更新步长。
更新搜索方向并继续迭代，直至梯度收敛到零。

• 初始化

初始化点设为：

$$X^{(0)} = \begin{bmatrix} 0 \\ 0 \end{bmatrix}$$

初始梯度为：

$$g^{(0)} = \nabla f(X^{(0)}) = A X^{(0)} = \begin{bmatrix} 1 & 1 \\ 1 & 2 \end{bmatrix} \begin{bmatrix} 0 \\ 0 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix}$$

初始搜索方向：

$$d^{(0)} = -g^{(0)} = \begin{bmatrix} 0 \\ 0 \end{bmatrix}$$

• 迭代步骤

假设当前迭代点为 $X^{(k)}$，对应梯度为 $g^{(k)}$，搜索方向为 $d^{(k)}$。

（1）线搜索

确定步长 $\alpha_k$：

$$\alpha_k = -\frac{g^{(k)^T} d^{(k)}}{d^{(k)^T} A d^{(k)}}$$

（2）更新变量

更新点：

$$X^{(k+1)} = X^{(k)} + \alpha_k d^{(k)}$$

（3）更新梯度

计算新的梯度：

$$g^{(k+1)} = \nabla f(X^{(k+1)}) = A X^{(k+1)}$$

（4）更新搜索方向

搜索方向使用以下公式：

$$\beta_k = \frac{g^{(k+1)^T} g^{(k+1)}}{g^{(k)^T} g^{(k)}}$$

$$d^{(k+1)} = -g^{(k+1)} + \beta_k d^{(k)}$$

迭代至梯度满足 $| g^{(k)} | < \epsilon$ 为止。

• 求解过程

根据矩阵 $$A = \begin{bmatrix} 1 & 1 \\ 1 & 2 \end{bmatrix}$$ ，详细迭代如下：

第 0 步：

• 初始点：$X^{(0)} = \begin{bmatrix} 0 \ 0 \end{bmatrix}$
• 梯度：$g^{(0)} = A X^{(0)} = \begin{bmatrix} 0 \ 0 \end{bmatrix}$
• 搜索方向：$d^{(0)} = -g^{(0)} = \begin{bmatrix} 0 \ 0 \end{bmatrix}$

停止条件已满足。

• 最优解

由于初始点 $X^{(0)}$ 即为零点，梯度也为零，因此最优解为：

$$X^* = \begin{bmatrix} 0 \\ 0 \end{bmatrix}$$

最小值：

$$f(X^*) = \frac{1}{2} X^{*T} A X^* = 0$$

[16道题解答下载链接]（https://wwxh.lanzoum.com/igY660yqgc1a密码:74z9）