评价统计量优劣的几个标准——统计学（十二）

在推断性统计中，我们需要从样本中加工提取其反映总体的信息，就得用到统计量，发挥统计量的作用。这就提出了一个问题，什么样的统计量能达成我们的述求，能完美地提取出总体的规律性特征。回答这个问题要理解衡量统计量优劣的几个标准，从大的方面说要求是充分统计量，从小的方面说要求满足无偏性、有效性和一致性，本文将展开该方面的讨论。

一、充分统计量

对参数进行估计，要使用从样本加工而来的统计量，这是一种对样本的信息提取。我们知道，在简化加工样本信息的同时，肯定也会丢失了一部分信息，那么要如何加工样本，才能尽可能多地删掉无用信息，保留尽可能多的有效信息——或者更进一步地，保留全部的有效信息呢？这需要我们对有效和无效作出定义上的区分。
众所周知，信息是有效的还是无效的，取决于我们要使用信息来做什么。比如说想判断第二天的气温来看看应该穿什么衣服，那么“明天会下雨”这个信息就是有效的，而“奥运会将在2021年开”这个信息就无效了。现在我们想要使用信息来对参数作估计，拥有的全部信息就是样本观测，要保留全部的有效信息，必须将样本按一定方式加工成统计量。

充分统计量：对于统计量 $T=T(\boldsymbol{X})$ ，如果在已知 $T$ 的条件下样本 $\boldsymbol{X}$ 的条件分布与待估参数 $\theta$ 无关，则称 $T(\boldsymbol{X})$ 是 $\theta$ 的充分统计量。

这也就是说，如果给定了 $T$ ，则 $\boldsymbol{X}|T$ 的联合分布（联合密度）中甚至不含有 $\theta$ ，自然不包含 $\theta$ 的任何信息，因此在给定 $T$ 的情况下再关注 $\boldsymbol{X}$ 是没有必要的。这就是充分性的由来。
对于 $T=T(\boldsymbol{X})$ 这种记法应该不至于太陌生。事实上这里左右两边的 $T$ 代表不一样的意思，右边的 $T$ 是一个 $n$ 元函数 $T(x_1,\cdots,x_n)$ ，而 $\boldsymbol{X}=(X_1,\cdots,X_n)$ 就是它的取值，因此 $T(\boldsymbol{X})$ 代表了一个样本的函数，也就是一个统计量,这个统计量用 $T$ 表示。

直观上理解，充分统计量就是能概括样本中的所有信息的统计量。当然，我更喜欢以这样的方式去理解充分统计量：知道了充分统计量后与知道所有样本对推断未知参数的效果相同。
一个现实中的例子就是星座与性格的关系。性格肯定是一个随机变量，它的分布取决于太多的因素，比如家庭、生长的地域、受的教育、还有生理等诸多因素。但莫明其妙的是，在很多情况下，这么多因素的信息居然浓缩在“星座”这一个信息里。比如，你想判断一个人的性格，你可以问他或她是什么星座的，给定星座的情况下，你对他/她性格的“分布”会有一个估计。很多情况下，你还可以加上血型这样一个统计量，估计会更精确点。但匪夷所思的是，有人还再加上“生肖”这样一个中国特有的“统计量”，再对各星座的性格做出统计判断。

二、评价统计量的三个标准

参数估计是用样本统计量作为总体参数的估计。对于一个未知参数，可以构造很多个统计量去估计它，究竟什么样的统计量是优良估计量，主要有以下评价标准：无偏性、有效性和一致性。

2.1无偏性

无偏性指的是样本指标的平均数等于被估计的总体参数，即估计量 $\hat{\theta}$ 的数学期望等于待估参数的真值 $\theta$ 。一个参数的估计量常常不止一个。常用的评价标准有多个，如无偏性、有效性和一致性。

设 $\widehat{\theta}（x_1，x_2，...，x_n）$ 是参数的一个估计，若对于参数空间中的任一个 $\theta$ 都有

E (\hat{θ}) = θ 对 \forall θ \in Θ

$E(\widehat{\theta})=\theta 对∀\theta∈{\Theta}$

则称 $\widehat{\theta}$ 为 $\theta$ 的无偏估计，否则称为 $\theta$ 的有偏估计。

由于样本的随机性，这种偏差时大时小，时正时负，而把这些偏差平均起来其值为，所以无偏是指无系统偏差。若一个估计不具有无偏性，估计均值 $E(\hat{\theta })$ 与参数真值 $\theta$ 总有一定距离，这个距离就是系统偏差。这就是有偏估计的缺点。在随机抽样中，有时会抽到偏小的单位，有时会抽到偏大的单位，在无偏估计的情况下，这种误差没有系统性方向，随着样本的增加，这有大有小的误差会相互抵消，因此无偏估计量是指没有系统性误差。有偏估计量则不同，它的误差不会随着样本的增大而消失，而是具有一定的方向，会产生系统性误差。

2.2有效性

有效性也称为最小方差性，指的是估计量在所有无偏估计量中具有最小方差。对同一总体参数的两个无偏点估计量，有更小方差的估计量更有效。

设 $\hat\theta_{1}$ 与 $\hat\theta_{2}$ 为参数 $\theta$ 的两个无偏估计量，若 $Var\hat\theta_{1} < Var\hat \theta_{2}$ ，则称 $\hat\theta_{1}$ 比 $\hat\theta_{2}$ 更有效。

2.3一致性（相合性）

一致性指的是随着样本量的增大，统计量的值越来越接近被估计的总体参数。估计量 $\hat\theta$ 与 $\theta$ 的真值任意接近的概率趋于1，它反映了估计量的一种大样本性质。

设 $\hat\theta ({X_1},{X_2},...,{X_n})$ 为参数 $\theta$ 的估计量，若 $\hat\theta$ 依概率收敛于 $\theta$ ，则称 $\hat \theta$ 为 $\theta$ 的一致估计量，即

l i m i t_{n \to \infty} P (| \hat{θ} - θ | > ε) = 0

$\\limit_{n\to\infty } P(| {\hat\theta - \theta }| >\varepsilon ) = 0$

如果一个统计量是一个一致估计量，那么样本容量越大，代表性就越好，估计的可靠性就越高；如果不是一致估计量，增大样本容量不会提高其代表性。

总结

统计量用来估计未知总体的参数，每次估计是指把这个函数应用在一组已知的数据集上，求函数的结果。对于给定的参数，可以有许多不同的估计量；对于不用的样本，可以得到许多的估计值，因此我们需要通过一些选择标准从它们中选出较好的统计量。
这些标准如下：无偏：随机变量（估计量）的期望（均值）等于总体的均值；有效性：随机变量（估计量）围绕总体均值的波动（方差）小；一致性：随着样本容量增加（即估计量具体的估计值增加），估计量的方差逐渐减小，依概率收敛到总体均值；一致性：渐近无偏性就是一致性。一致性对于统计量最重要：随着样本量增加，估计量会收敛致总体的数字特征，这样可以用样本推断总体。