微信扫一扫打赏支持

为什么样本方差（sample variance）的分母是 n-1

为什么样本方差（sample variance）的分母是 n-1

一、总结

一句话总结：

为1/n的分布倾向于低估σ^2，所以选1/(n-1)
【实际算出来就是n/(n-1)这样的关系】：$$E [ \frac { 1 } { n } \sum _ { i = 1 } ^ { n } ( X _ { i } - \overline { X } ) ^ { 2 } ] = \sigma ^ { 2 } - \frac { 1 } { n } \sigma ^ { 2 } = \frac { n - 1 } { n } \sigma ^ { 2 }$$
$$S ^ { 2 } = \frac { 1 } { n - 1 } \sum _ { i = 1 } ^ { n } ( X _ { i } - \overline { X } ) ^ { 2 }$$

 

1、为什么可以用S^2来近似σ^2？

采样具有随机性，我们多采样几次，S^2会围绕σ^2上下波动
$$\sigma ^ { 2 } = E [ ( X - \mu ) ^ { 2 } ]$$
$$S ^ { 2 } = \frac { 1 } { n - 1 } \sum _ { i = 1 } ^ { n } ( X _ { i } - \overline { X } ) ^ { 2 }$$

 

2、计算方差流程？

【不知分布】：如果已知随机变量X的期望为μ，那么可以如下计算方差σ^2：$$\sigma ^ { 2 } = E [ ( X - \mu ) ^ { 2 } ]$$，上面的式子需要知道X的具体分布是什么（在现实应用中往往不知道准确分布），计算起来也比较复杂。
【用S^2来近似σ^2】：所以实践中常常采样之后，用下面这个S^2来近似σ^2：$$S ^ { 2 } = \frac { 1 } { n } \sum _ { i = 1 } ^ { n } ( X _ { i } - \mu ) ^ { 2 }$$
【期望μ不知】：其实现实中，往往连X的期望μ也不清楚，只知道样本的均值：$$\overline { X } = \frac { 1 } { n } \sum _ { i = 1 } ^ { n } X _ { i }$$
【1/(n-1)】：那么可以这么来计算S^2：$$S ^ { 2 } = \frac { 1 } { n - 1 } \sum _ { i = 1 } ^ { n } ( X _ { i } - \overline { X } ) ^ { 2 }$$

 

 

 

二、为什么样本方差（sample variance）的分母是 n-1（转）

转自：https://www.matongxue.com/madocs/607（转）

 

先把问题完整的描述下。

如果已知随机变量X的期望为\mu，那么可以如下计算方差\sigma^2：
\sigma^2=E[(X-\mu)^2]
上面的式子需要知道X的具体分布是什么（在现实应用中往往不知道准确分布），计算起来也比较复杂。
所以实践中常常采样之后，用下面这个S^2来近似\sigma^2：
S^2=\frac{1}{n}\sum_{i=1}^{n}(X_i-\mu)^2
其实现实中，往往连X的期望\mu也不清楚，只知道样本的均值：
\overline{X}=\frac{1}{n}\sum_{i=1}^{n}X_i
那么可以这么来计算S^2：
S^2=\frac{1}{n-1}\sum_{i=1}^{n}(X_i-\overline{X})^2
那这里就有两个问题了：
  • 为什么可以用S^2来近似\sigma^2？
  • 为什么使用\overline{X}替代\mu之后，分母是\displaystyle\frac{1}{n-1}？
我们来仔细分析下细节，就可以弄清楚这两个问题。

1 为什么可以用S^2来近似\sigma^2？

举个例子，假设X服从这么一个正态分布：
X \sim N(145, 1.4^2)
即，\mu=145,\sigma^2=1.4^2=1.96，图形如下：
当然，现实中往往并不清楚X服从的分布是什么，具体参数又是什么？所以我用虚线来表明我们并不是真正知道X的分布：
很幸运的，我们知道\mu=145，因此对X采样，并通过：
S^2=\frac{1}{n}\sum_{i=1}^{n}(X_i-\mu)^2
来估计\sigma^2。某次采样计算出来的S^2：
看起来比\sigma^2=1.96要小。采样具有随机性，我们多采样几次，S^2会围绕\sigma^2上下波动：
 
用S^2作为\sigma^2的一个估计量，算是可以接受的选择。
很容易算出：
E[\frac{1}{n}\sum_{i=1}^{n}(X_i-\mu)^2]=\sigma^2
因此，根据中心极限定理，S^2的采样均值会服从\mu=1.4^2的正态分布：
这也就是所谓的无偏估计量。从这个分布来看，选择S^2作为估计量确实可以接受。

2 为什么使用\overline{X}替代\mu之后，分母是\displaystyle\frac{1}{n-1}？

更多的情况，我们不知道\mu是多少的，只能计算出\overline{X}。不同的采样对应不同的\overline{X}：
 
对于某次采样而言，当\mu=\overline{X}时，下式取得最小值：
\sum_{i=1}^{n}(X_i-\mu)^2
我们也是比较容易从图像中观察出这一点，只要\mu偏离\overline{X}，该值就会增大：
 
所以可知：
\sum_{i=1}^{n}(X_i-\overline{X})^2 \leq \sum_{i=1}^{n}(X_i-\mu)^2
可推出：
\frac{1}{n}\sum_{i=1}^{n}(X_i-\overline{X})^2 \leq \frac{1}{n}\sum_{i=1}^{n}(X_i-\mu)^2
进而推出：
E[\frac{1}{n}\sum_{i=1}^{n}(X_i-\overline{X})^2] \leq E[\frac{1}{n}\sum_{i=1}^{n}(X_i-\mu)^2]=\sigma^2
如果用下面这个式子来估计：
S^2=\frac{1}{n}\sum_{i=1}^{n}(X_i-\overline{X})^2
那么S^2采样均值会服从一个偏离1.4^2的正态分布：
可见，此分布倾向于低估\sigma^2。
具体小了多少，我们可以来算下：
{\displaystyle {\begin{aligned}\operatorname {E} [S^{2}]&=\operatorname {E} \left[{\frac {1}{n}}\sum _{i=1}^{n}{\big (}X_{i}-{\overline {X}}{\big )}^{2}\right]=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}{\bigg (}(X_{i}-\mu )-({\overline {X}}-\mu ){\bigg )}^{2}{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}{\bigg (}(X_{i}-\mu )^{2}-2({\overline {X}}-\mu )(X_{i}-\mu )+({\overline {X}}-\mu )^{2}{\bigg )}{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-{\frac {2}{n}}({\overline {X}}-\mu )\sum _{i=1}^{n}(X_{i}-\mu )+{\frac {1}{n}}({\overline {X}}-\mu )^{2}\sum _{i=1}^{n}1{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-{\frac {2}{n}}({\overline {X}}-\mu )\sum _{i=1}^{n}(X_{i}-\mu )+{\frac {1}{n}}({\overline {X}}-\mu )^{2}\cdot n{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-{\frac {2}{n}}({\overline {X}}-\mu )\sum _{i=1}^{n}(X_{i}-\mu )+({\overline {X}}-\mu )^{2}{\bigg ]}\\[8pt]\end{aligned}}}
其中：
{\displaystyle {\begin{aligned}{\overline {X}}-\mu ={\frac {1}{n}}\sum _{i=1}^{n}X_{i}-\mu ={\frac {1}{n}}\sum _{i=1}^{n}X_{i}-{\frac {1}{n}}\sum _{i=1}^{n}\mu \ ={\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu ).\\[8pt]\end{aligned}}}
所以我们接着算下去：
{\displaystyle {\begin{aligned}\operatorname {E} [S^{2}]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-{\frac {2}{n}}({\overline {X}}-\mu )\sum _{i=1}^{n}(X_{i}-\mu )+({\overline {X}}-\mu )^{2}{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-{\frac {2}{n}}({\overline {X}}-\mu )\cdot n\cdot ({\overline {X}}-\mu )+({\overline {X}}-\mu )^{2}{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-2({\overline {X}}-\mu )^{2}+({\overline {X}}-\mu )^{2}{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-({\overline {X}}-\mu )^{2}{\bigg ]}\\[8pt]&=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}{\bigg ]}-\operatorname {E} {\bigg [}({\overline {X}}-\mu )^{2}{\bigg ]}\\[8pt]&=\sigma ^{2}-\operatorname {E} \left[({\overline {X}}-\mu )^{2}\right]\end{aligned}}}
其中：
{\displaystyle \operatorname {E} {\big [}({\overline {X}}-\mu )^{2}{\big ]}={\frac {1}{n}}\sigma ^{2}.}
所以：
E[\frac{1}{n}\sum_{i=1}^{n}(X_i-\overline{X})^2]=\sigma^{2}-{\frac {1}{n}}\sigma^{2}=\frac{n-1}{n}\sigma^{2}
也就是说，低估了\displaystyle{\frac {1}{n}}\sigma^{2}，进行一下调整：
\frac{n}{n-1}E[\frac{1}{n}\sum_{i=1}^{n}(X_i-\overline{X})^2]=E[\frac{1}{n-1}\sum_{i=1}^{n}(X_i-\overline{X})^2]=\sigma^{2}
因此使用下面这个式子进行估计，得到的就是无偏估计：
S^2=\frac{1}{n-1}\sum_{i=1}^{n}(X_i-\overline{X})^2

 

 

 
posted @ 2020-11-08 22:34  范仁义  阅读(496)  评论(0)  编辑  收藏  举报