Markov's Inequality

中文叫马尔科夫不等式或马尔可夫不等式。

若随机变量\(X\)只取非负值，则\(\forall a>0\)，有

\[\mathbb{P} (X\ge a) \le \dfrac{\mathbb{E}(X)}{a} \]

证明：
取\(Y_a=a\mathbb{I}(X\ge a)\)，则必有\(Y_a\le X\)，进而有\(\mathbb{E}(Y_a)\le \mathbb{E}(X)\)。

而

\[\begin{aligned} \mathbb{E}(Y_a)&=a\cdot\mathbb{P} (X\ge a)+0\cdot\mathbb{P} (X< a)\\ &=a\cdot\mathbb{P} (X\ge a) \end{aligned} \]

因此有\(a\mathbb{P}\le \mathbb{E}(X)\)，得证。

以上证明非常简单，如果想直观地理解一下，就是将整个\(X\)的分布减小（分布图像向左移）到\(0\)和\(a\)处两个部分，减小后的分布的期望一定小于原来的期望。如下图：

如果直接用积分形式来证，也非常直接：

\[\begin{aligned} \mathbb{E}(X)&=\int_{-\infty}^{\infty}xf(x)dx\\ &\ge\int_{a}^{\infty}xf(x)dx \quad (a\ge 0)\\ &\ge\int_{a}^{\infty}af(x)dx\\ &=a \int_{a}^{\infty}f(x)dx\\ &=a \mathbb{P} (X\ge a) \end{aligned} \]

Markov's inequality用得非常少，因为它给出的上界宽松了，但用它可以证明另一个著名的不等式——Chebyshev's inequality，中文叫切比雪夫不等式。

Chebyshev's Inequality

假设随机变量\(X\)有均值\(\mu\)、方差\(\sigma^2\)，则\(\forall c>0\)，有：

\[\mathbb{P} (\vert X-\mu\vert \ge c) \le \dfrac{\sigma^2}{c^2} \]

证明：

取\(Y=(X-\mu)^2\)，则它非负，而\(c^2\)也非负，使用Markov's Inequality，有：

\[\mathbb{P} (Y\ge c^2) \le \dfrac{\mathbb{E}(Y)}{c^2} \]

而\(\mathbb{E}(Y)=\mathbb{E}[(X-\mu)^2]=\sigma^2\)，\(Y\ge c^2\)与\(\vert X-\mu\vert \ge c\)又是等价的，因此得证。