有关统计分析方法的一道题——证明矩估计的方差（即样本方差）是总体方差的无偏估计

今天上午考试考了这道题，但是好巧不巧自己没看具体的证明过程（可能因为自己忽略了这个部分吧）...（有关这道题当时的证明过程，我就记得了$E(\bar{X})=\mu ,D(\bar{X})=\frac{{\sigma }^2}{n}$，别的都不记得了...）考场直接破大防了...估计只有我没做出这道题吧...>_<

所以我打算把这道题的完成过程发在这里，以便大家可以理解证明的原理

统计量的无偏性

如果一个统计量$\theta$满足无偏性质，那么应当满足:

$$\begin{array}{}\text{(1)}& E(\hat{\theta })=\theta \end{array}$$

矩估计

简单来说就是用样本的一阶原点矩和二阶原点矩来估计总体均值和方差的点估计方法。假设样本容量为n, 样本点为$x_1$,$x_2$,...,$x_n$,那么就有：

1. 矩估计的均值 = 所有样本的一阶原点矩

$$\begin{array}{}\text{(2)}& \hat{\mu }=\frac{1}{n}\sum _{i=1}^n{x}_i\end{array}$$

2. 矩估计的方差 = 所有样本的样本方差

$$\begin{array}{}\text{(3)}& {\hat{\sigma }}^2=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x}{)}^2\end{array}$$

如何证明矩估计的方差是总体方差的无偏估计呢？

简单介绍了一下背景，接下来我们要直入正题啦！
那么，根据上面的前置知识，我们需要证明

$$\begin{array}{}\text{(4)}& E({\hat{\sigma }}^2)={\sigma }^2\end{array}$$

把${\hat{\sigma }}^2$的定义代入：

$$\begin{array}{}\text{(5-1)}& E({\hat{\sigma }}^2)=E(\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x}{)}^2)\end{array}$$

利用期望的线性性质，原式等于：

$$\begin{array}{}\text{(5-2)}& =\frac{1}{n-1}\sum _{i=1}^{n}E((x_i-\bar{x}{)}^2)\end{array}$$

再继续把里面的部分展开

$$\begin{array}{}\text{(5-3)}& =\frac{1}{n-1}\sum _{i=1}^{n}E(x_i^2+{\bar{x}}^2-2x_i\bar{x})\end{array}$$

再继续进一步拆分：

$$\begin{array}{}\text{(5-4)}& =\frac{1}{n-1}\sum _{i=1}^{n}E(x_i^2)+E({\bar{x}}^2)-2E(x_i\bar{x})\end{array}$$

记得今天上午考试的时候就写到这里，然后就什么都想不起来了>_<
后来好像想起来一点，但是时间不太够了...
我们可以用方差和一次期望的平方之和重新把二次期望表示出来

$$\begin{array}{}\text{(5-5)}& =\frac{1}{n-1}\sum _{i=1}^{n}D(x_i)+E(x_i{)}^2+D(\bar{x})+E(\bar{x}{)}^2-2E(x_i\bar{x})\end{array}$$

可惜后来才想到...所以也只是很仓促地完成了证明过程...
我们知道：

$$\begin{array}{}\text{(5-6-1)}& E(x_i)=\mu ,D(x_i)={\sigma }^2\end{array}$$

以及

$$\begin{array}{}\text{(5-6-2)}& E(\bar{x})=\mu ,D(\bar{x})=\frac{{\sigma }^2}{n}\end{array}$$

所以原式可以代换为：

$$\begin{array}{}\text{(5-6)}& =\frac{1}{n-1}\sum _{i=1}^n{\sigma }^2+{\mu }^2+\frac{{\sigma }^2}{n}+{\mu }^2-2E(x_i\bar{x})\end{array}$$

还差最后一项$2E(x_i\bar{x})$，我们要如何处理呢？
我们来单独处理下$E(x_i\bar{x})$，看看它到底等于多少。

$$\begin{array}{}\text{(5-7-1)}& E(x_i\bar{x})=Cov(x_i,\bar{x})+E(x_i)E(x)\end{array}$$

后一项根据5-6-1和5-6-2我们知道是等于${\mu }^2$的，那么目光也就集中在了前一项如何计算协方差上。
根据协方差的性质，我们有

$$\begin{array}{}\text{(5-7-2-1)}& Cov(x_i,\bar{x})=\frac{1}{n}(\sum _{j=1}^{n}Cov(x_i,x_j))\end{array}$$

样本和样本之间都是不相关的，因此当$i\ne j$时，$Cov(x_i,x_j)=0$.
那么

$$\begin{array}{}\text{(5-7-2-2)}& Cov(x_i,\bar{x})=\frac{1}{n}(Cov(x_j,x_j))\end{array}$$

而$Cov(x_j,x_j)=D(x_j)={\sigma }^2$，所以我们也就知道了

$$\begin{array}{}\text{(5-7-2-3)}& Cov(x_i,\bar{x})=\frac{{\sigma }^2}{n}\end{array}$$

再回代到5-7-1中，有

$$\begin{array}{}\text{(5-7-2)}& E(x_i\bar{x})=\frac{{\sigma }^2}{n}+{\mu }^2\end{array}$$

那么原来我们要求解的公式就是：

$$\begin{array}{}\text{(5-7)}& =\frac{1}{n-1}\sum _{i=1}^n{\sigma }^2+{\mu }^2+\frac{{\sigma }^2}{n}+{\mu }^2-2(\frac{{\sigma }^2}{n}+{\mu }^2)\end{array}$$

合并一下同类项

$$\begin{array}{}\text{(5-8)}& =\frac{1}{n-1}\sum _{i=1}^n{\sigma }^2+{\mu }^2-(\frac{{\sigma }^2}{n}+{\mu }^2)\end{array}$$

$\mu$奇迹般地消失了！

$$\begin{array}{}\text{(5-9)}& =\frac{1}{n-1}\sum _{i=1}^n\frac{n-1}{n}{\sigma }^2\end{array}$$

去掉求和符号

$$\begin{array}{}\text{(5-10)}& =\frac{1}{n-1}\times n\times \frac{n-1}{n}{\sigma }^2\end{array}$$

答案也就自然出来了！

$$\begin{array}{}\text{(5-11)}& ={\sigma }^2\end{array}$$