Jensen不等式的形式有很多种，这里重点关注有关于随机变量期望的形式。

1 Jensen不等式

Jensen不等式：已知函数\(\phi: \mathbb{R}\to\mathbb{R}\)为凸函数，则有\(\phi[\text{E}(X)]\leq \text{E}[\phi(X)]\)。

有时候，需要用到离散形式的Jensen不等式：\(\{a_j\}\)是一系列非负权重，满足\(\sum_{j=1}^m a_j=1\)，\(\{x_j\}\)是一系列任意实数，对于凸函数\(\phi: \mathbb{R}\to\mathbb{R}\)，有

\[\phi\left(\sum_{j=1}^m a_j x_j\right) \leq \sum_{j=1}^m a_j \phi(x_j) \]

只需将原期望形式的Jensen不等式中的随机变量取成离散的，并令\(P(X=x_j)=a_j\)，即可得到上式。

2 条件Jensen不等式

将不等式两边的期望都取为条件期望的形式，不等式依然成立。

条件Jensen不等式：已知函数\(\phi: \mathbb{R}\to\mathbb{R}\)为凸函数，则有\(\phi[\text{E}(X|Y)]\leq \text{E}[\phi(X)|Y]\)。

来看一个应用：在\(\text{Var}(X)<\infty\)的条件下，利用条件Jensen不等式，可以证明\(\text{Var}[\text{E}(X|Y)]\leq \text{Var}(X)\)。

证明如下：

\[\begin{aligned} &[\text{E}(X|Y)-\text{E}(X)]^2 \\ =& [\text{E}(X|Y)]^2+[\text{E}(X)]^2 - 2\text{E}(X|Y)\text{E}(X)\\ \leq & \text{E}(X^2|Y)+[\text{E}(X)]^2 - 2\text{E}(X|Y)\text{E}(X) \end{aligned} \]

两边取期望后，可得

\[\begin{aligned} &\text{E}\left\{\left\{\text{E}(X|Y)-\text{E}[\text{E}(X|Y)]\right\}^2\right\} \\ (= & \text{Var}[\text{E}(X|Y)])\\ \leq & \text{E}[\text{E}(X^2|Y)]+[\text{E}(X)]^2 - 2[\text{E}(X)]^2\\ = & \text{E}(X^2)+[\text{E}(X)]^2 - 2[\text{E}(X)]^2\\ = & \text{Var}(X) \end{aligned} \]

得证。

3 Jensen不等式的应用

许许多多不等式，都可以利用Jensen不等式得出，这里整理一些例子。

3.1 套用简单函数

将\(\phi\)直接取为简单的凸函数或凹函数，就可以得到许多不等式：

  • \([\text{E}(X)]^2 \geq \text{E}(X^2)\)
  • \(|\text{E}(X)|\leq \text{E}|X|\)；
  • \(\exp[\text{E}(X)]\leq \text{E}[\exp(X)]\)；
  • \(\text{E}[\log(X)]\leq \log[\text{E}(X)]\)；
  • \(\text{E}[X^{1/2}]\leq [\text{E}(X)]^{1/2}\)。

3.2 Lyapunov不等式

Lyapunov不等式：对于任意\(0\leq p \leq q\)，有

\[[\text{E}(|X|^{p})]^{1/p} \leq [\text{E}(|X|^{q})]^{1/q} \]

证明过程，只需利用凸函数\(\phi(x)=x^{q/p}\)，和随机变量\(Y=|X|^q\)即可。

3.3 几何均值不等式

几何均值不等式（Geometric Mean Inequality）：\(\{a_j|\)是一系列非负权重，满足\(\sum_{j=1}^m a_j=1\)，\(\{x_j\}\)是一系列任意的非负实数，则有

\[x_1^{a_1}x_2^{a_2}\cdots x_m^{a_m}\leq \sum_{j=1}^m a_j x_j \]

证明要用到离散形式的Jensen不等式，将\(\phi\)取为对数函数即可，由于对数函数是凹函数，不等式需反向。

如果取\(m=2\)，\(a_1=a_2=\dfrac{1}{2}\)，就是在中学阶段熟悉的\(\sqrt{x_1 x_2}\leq \dfrac{x_1+x_2}{2}\)，即几何均值小于等于代数均值。

3.4 Loeve’s \(C_r\) Inequality

对于一系列的任意实数\(x_j\)，有

\[\left| \sum_{j=1}^m x_j \right|^r \leq \begin{cases} \sum\limits_{j=1}^m |x_j|^r&,0\lt r\leq 1\\ m^{r-1} \sum\limits_{j=1}^m |x_j|^r&, r\gt 1 \end{cases} \]

当\(m=2\)时，记\(C_r=\max\{1,2^{r-1}\}\)，该不等式可写为

\[|a+b|^r\leq C_r \left(|a|^r+|b|^r\right) \]

因此也叫\(C_r\)不等式。

证明同样需用到离散形式Jensen不等式。若\(r\gt 1\)，取\(a_j=1/m\)，\(\phi(x)=|x|^r\)，即可得证。若\(r\leq 1\)，记\(\sum_{j=1}^m |x_j|=A\)，取\(b_j=|x_j|/A\)，则\(b_j\in [0,1]\)，因此有\(b_j\leq b_j^r\)，因此

\[1=\sum_{j=1}^m b_j\leq \sum_{j=1}^m b_j^r=\dfrac{\sum_{j=1}^m |x_j|^r}{A^r} \]

再利用\(|\sum_{j=1}^m x_j |\leq \sum_{j=1}^m |x_j|=A\)，即可得证。

3.5 范数不等式

范数不等式：对于\(0\lt p\leq q\)，有

\[\left| \sum_{j=1}^m |x_j|^q \right|^{1/q} \leq\left| \sum_{j=1}^m |x_j|^p \right|^{1/p} \]

取\(r=p/q\leq 1\)，\(y_j=|x_j|^q\)，利用上一节中的\(C_r\)不等式，可得

\[\left| \sum_{j=1}^m y_j \right|^r \leq \sum_{j=1}^m |y_j|^r \]

将\(x_j\)代回并两边取\(1/p\)次方即可得证。