概率论 - 样本方差的期望

概率论 - 样本方差的期望

目录

• 概率论 - 样本方差的期望
  • 问题
  • 理解

问题

设 $X_{1},X_{2}...X_{n}$ 是来自总体 $X$ 的样本，则称
样本方差 $S^{2}=\frac{1}{n-1}\displaystyle\sum_{i=1}^{n}(X_{i}-\overline{X})^2$

理解

从样本方差和总体方差的期望来看。

记 $X$ 的期望为 $\mu$ ，方差为 $\sigma^2$ ，则

$E\{S^2\}=E\{\frac{1}{n-1}\displaystyle\sum_{i=1}^{n}(X_{i}-\overline{X})^{2}\}$

$=\frac{1}{n-1}\displaystyle\sum_{i=1}^{n}E [ X_{i}^{2}-2X_{i}\overline{X}+\overline{X}^{2} ]$

其中，

$E(X_i^2)=D(X_i)+E^2(X_i)=\sigma^2+\mu^2$

$E(\overline{X}^2)=D(\overline{X})+E^2(\overline{X})$

$=D(\frac{1}{n}\displaystyle\sum_{i=1}^{n}X_i)+E^2(\frac{1}{n}\displaystyle\sum_{i=1}^{n}X_i)$

$=\frac{1}{n^2}\displaystyle\sum_{i=1}^{n}D(X_i)+\frac{1}{n}\displaystyle\sum_{i=1}^{n}E^2(X_i)$

$=\frac{1}{n^2}n\sigma^2+\frac{1}{n}n\mu^2$

$=\frac{1}{n}\sigma^2+\mu^2$

对于 $E(X_i\overline{X})$，由于对称性，只考虑 $E(X_1\overline{X})$。

$E(X_1\overline{X})=E[X_1(\frac{1}{n}\displaystyle\sum_{i=1}^{n}X_i)]$

$=\frac{1}{n}E(X_1^2+X_1X_2+X_1X_3+...+X_1X_n)$

$=\frac{1}{n}(\sigma^2+\mu^2+(n-1)\mu^2)$

$=\frac{\sigma^2}{n}+\mu^2$

综合，有

$E [ X_{i}^{2}-2X_{i}\overline{X}+\overline{X}^{2} ]$

$=\sigma^2+\mu^2-2(\frac{\sigma^2}{n}+\mu^2)+\frac{1}{n}\sigma^2+\mu^2$

$=\sigma^2-\frac{1}{n}\sigma^2$

$=\frac{n-1}{n}\sigma^2$

即

$E\{S^2\}=\frac{n}{n-1}\frac{n-1}{n}\sigma^2=\sigma^2$

也即，样本方差和总体方差的期望一致（无偏）。