罚函数法

罚函数法
求解约束优化问题：
$$\begin{array}{rl}\underset{x}{min}& f(x)\\ s.t.& x\in S\end{array}$$
其中，$f$是连续函数。
可以采用罚函数法将约束优化问题转变为无约束优化问题，具体方法是对目标函数加上惩罚项：
$$q(c_k,x)=f(x)+c_{k}P(x)$$
其中:1)数列$\{c_k\}\subset \mathbb{R}$，且$c_k\uparrow ,c_k\to +\mathrm{\infty }$。2)$P$连续，$P\ge 0$，且$P(x)=0⟺x\in S$。
对任意的$k$，求解$mi{n}_{x}q(c_k,x)$得到的解记为$x_k$。

引理
$$q(c_k,x_k)\le q(c_{k+1},x_{k+1})$$
proof：
$$\begin{array}{rl}q(c_k,x_k)=& f(x_k)+c_{k}P(x_k)\\ \le & f(x_{k+1})+c_{k}P(x_{k+1})\\ \le & f(x_{k+1})+c_{k+1}P(x_{k+1})=q(c_{k+1},x_{k+1})\end{array}$$

假设$x^{\ast }$为原问题的解点，则有$$f(x^{\ast })\ge q(x_k,x_k)\ge f(x_k)$$
proof：
$$\begin{array}{rl}f(x^{\ast })=& f(x^{\ast })+c_{k}P(x^{\ast })\\ \ge & f(x_k)+c_{k}P(x_k)\\ \ge & f(x_k)\end{array}$$

收敛性
假设$\{x_k\}$是由罚函数法生成的序列，则其任意极限点都是原问题的解点。
proof：\quad
取$\{x_k\}$的一个极限点为$\stackrel{-}{x}$，为了书写方便记收敛子列依然为$\{x_k\}$。
由于函数$f$的连续性，有$$\underset{k\to +\mathrm{\infty }}{lim}f(x_k)=f(\stackrel{-}{x})$$
由上述两个引理得到$q(c_k,x_k)$关于$k$单增，且以$f^{\ast }$为上界，于是得到:
$$\underset{k\to +\mathrm{\infty }}{lim}q(c_k,x_k)=q^{\ast }\le f^{\ast }$$
于是有$$\underset{k\to +\mathrm{\infty }}{lim}q(c_k,x_k)-f(x_k)=\underset{k\to +\mathrm{\infty }}{lim}=c_{k}P(x_k)\le q^{\ast }-f(\stackrel{-}{x})$$
再根据$c_k\to +\mathrm{\infty }$，于是有$P(x_k)\to 0$，根据$P$的连续性得到:
$$\underset{k\to +\mathrm{\infty }}{lim}P(x_k)=P(\stackrel{-}{x})=0$$
于是极限点$\stackrel{-}{x}\in S$。
由根据第二个引理得到:$$f(\stackrel{-}{x})=\underset{k\to +\mathrm{\infty }}{lim}f(x_k)\le f^{\ast }$$
则$\stackrel{-}{x}$是解点。
****************