琴生(Jensen)不等式

若 $f(x)$ 是区间 $[a,b]$ 上的凹函数，则对任意的 $x_{1},x_{2},...,x_{n} \in [a,b]$，且 $\sum_{i = 1}^{n}\lambda_{i} = 1, \lambda_{i} > 0$，有不等式

$$\sum_{i = 1}^{n}\lambda_{i}f(x_{i}) \geq f\left ( \sum_{i = 1}^{n}\lambda_{i}x_{i} \right )$$

当且仅当 $x_{1} = x_{2} = ... = x_{n}$ 时等号成立。

证明：

   证明过程采用数学归纳法。

   1）当 $n = 1$ 时，$\lambda_{1} = 1$，则不等式左侧为 $f(x_{1})$，不等式右侧为 $f(x_{1})$，不等式显然成立。

   2）当 $n = 2$ 时，$\lambda_{1} + \lambda_{2} = 1$，不等式左侧为 $\lambda_{1}f(x_{1}) + \lambda_{2}f(x_{2})$，不等式右侧为 $f(\lambda_{1}x_{1} + \lambda_{2}x_{2})$，参考博客：函数的凹凸性，可知不等式成立。

   3）假设 $n = k$ 时，琴生不等式成立，即

$$\sum_{i = 1}^{k}\lambda_{i}f(x_{i}) \geq f\left ( \sum_{i = 1}^{k}\lambda_{i}x_{i} \right ), \;\;\;\; \sum_{i = 1}^{k}\lambda_{i} = 1$$

      则 $n = k + 1$ 时：

$$\sum_{i = 1}^{k+1}\lambda_{i}f(x_{i}) = \lambda_{k+1}f(x_{k+1}) + \sum_{i = 1}^{k}\lambda_{i}f(x_{i}) \\
= \lambda_{k+1}f(x_{k+1}) + C \sum_{i=1}^{k}\frac{\lambda_{i}}{C}f(x_{i})^{k}\lambda_{i} \\
\geq \lambda_{k+1}f(x_{k+1}) + Cf\left ( \sum_{i=1}^{k}\frac{\lambda_{i}}{C}x_{i} \right )$$

   其中 $C = \sum_{i = 1}^{k}\lambda_{i}$，所以 $C = 1 - \lambda_{k+1}$。根据凹函数的性质(不懂的话先去阅读上面的博客)有

$$\lambda_{k+1}f(x_{k+1}) + Cf\left ( \sum_{i=1}^{k}\frac{\lambda_{i}}{C}x_{i} \right )
\geq f\left ( \lambda_{k+1}x_{k+1} + C\sum_{i=1}^{k}\frac{\lambda_{i}}{C}x_{i} \right ) = f\left ( \sum_{i = 1}^{k+1}\lambda_{i}f(x_{i}) \right )$$

   所以

$$\sum_{i = 1}^{k + 1}\lambda_{i}f(x_{i}) \geq f\left ( \sum_{i = 1}^{k + 1}\lambda_{i}x_{i} \right )$$

证毕