概率论12 矩与矩生成函数

作者：Vamei 出处：http://www.cnblogs.com/vamei 欢迎转载，也请保留这段声明。谢谢！

我们重新回到对单随机变量分布的研究。描述量是从分布中提取出的一个数值，用来表示分布的某个特征。之前使用了两个描述量，即期望和方差。在期望和方差之外，还有其它的描述量吗？

斜度

值得思考的是，期望和方差足以用来描述一个分布吗？如果答案是可以，那么我们就没有必要寻找其它描述量的。事实上，这两个描述量并不足以完整的描述一个分布。

我们来看两个分布，一个是指数分布:

$f(x) = \left\{ \begin{array}{rcl} e^{x} & if & x \ge 0 \\ 0 & if & x < 0 \end{array} \right.$

它的期望为 $E(x) = 1$ ，方差为 $Var(x) = 1$ 。

我们用Y = 2-X来获得一个新的随机变量，及其分布:

$f(y) = \left\{ \begin{array}{rcl} e^{2-y} & if & y \le 2 \\ 0 & if & y > 2 \end{array} \right.$
该密度曲线与原来的密度曲线关于直线X=1对称，与原来的分布有相同的期望值和方差。期望为

$E(x) = 1$ ，方差为

$Var(x) = 1$

我们绘制两个分布的密度曲线，如下图:

可以看到，即使期望值和方差保持不变，两个分布曲线明显不同。第一条曲线下的面积偏向左，而第二条曲线则向右侧倾斜。为了表达分布的这一特征，我们引入一个新的描述量，斜度(skewness)。它的定义如下:

$Skew(X) = E[(X - \mu)^3]$
上面两个分布，第一条曲线向左偏斜，斜度分别为2。另一条曲线的斜度为-2。很明显，斜度的不同可以带来差别巨大的分布(即使期望和方差都相同)。

绘制程序如下

from scipy.stats import expon
import numpy as np
import matplotlib.pyplot as plt

rv = expon(scale = 1)
x1  = np.linspace(0, 20, 100)
x2  = np.linspace(-18, 2, 100)
y1 =  rv.pdf(x1)
y2 =  rv.pdf(2 - x2)

plt.fill_between(x1, y1, 0.0, color = "green")
plt.fill_between(x2, y2, 0.0, color = "coral", alpha = 0.5)

plt.xlim([-6, 8])
plt.title("two distribution")
plt.xlabel("RV")
plt.ylabel("f(x)")

plt.show()

矩

观察方差和斜度的定义，

$Var(X) = E[(X - \mu)^2]$

$Skew(X) = E[(X - \mu)^3]$
都是X的函数的期望。它们的区别只在于函数的形式，即

$(X - \mu)$ 的乘方次数不同。方差为2次方，斜度为3次方。

上面的描述量都可以归为“矩”(moment)的一族描述量。类似于方差和斜度这样的，它们都是

$(X - \mu)$ 乘方的期望，称为中心矩(central moment)。

$E[(x - \mu)^k]$ 称为k阶中心矩，表示为

$\mu_k$ ，其中k = 2, 3, 4, ...

还有另一种是原点矩(moment about the origin)，是 $X$ 乘方的期望。 $E[X^k]$ 称为k阶，表示为 $\mu_k^\prime$ ，其中k = 1, 2, 3, ...

期望是一阶原点矩:

$E(X) = E(X^1)$

矩生成函数

除了表示中心、离散程序、斜度这些特性外，更高阶的矩可以描述分布的其它特性。矩统计中有重要的地位，比如参数估计的一种重要方法就是利用了矩。然而，根据矩的定义，我们需要对不同阶的X幂求期望，这个过程包含复杂的积分过程，并不容易。矩同样催生了矩生成函数(moment generating function)，它是求解矩的一样有力武器。

在了解矩生成函数之前，先来回顾(power series)。幂级数是不同阶数的乘方(比如 $1, x, x^2, x^3...$ )的加权总和：