【数理统计基础】 02 - 统计量和三大分布

合集 - 随机数学(11)

1.【初等概率论】 01 - 不确定中的确定性2017-02-072.【初等概率论】 02 - 条件概率和随机变量2017-02-073.【初等概率论】 03 - 常见分布和问题举例2017-02-074.【初等概率论】 04 - 数字特征2017-02-075.【初等概率论】 05 - 极限定理和正态分布2017-02-076.【数理统计基础】 01 - 关于预测的方法学2017-05-22

7.【数理统计基础】 02 - 统计量和三大分布2017-05-22

8.【数理统计基础】 03 - 参数估计2017-05-229.【数理统计基础】 04 - 假设检验2017-05-2210.【数理统计基础】 05 - 回归分析2017-05-2211.【数理统计基础】 06 - 相关分析和方差分析2017-05-24

收起

1. 样本和统计量

1.1 样本和统计量

　　数理统计讨论的问题不一定都是随机现象，比如人口信息的统计、具体数据的测量，它们的结果都是确定的。但实际问题的操作并不是数学所关心的，剥离问题的外壳，这些问题都可以用随机现象来描述，比如人口信息和测量误差都可以用一个正态分布来近似。建立统计的概率模型，正是数理统计区别于广义统计学的关键，为模型定义统一、明确的对象也是任何数学分支的起点。

　　既然这样，数理统计的研究对象其实还是随机变量，具体问题中所有可能的取值被称为全体，而每一个值称为个体。不同于概率论中研究分布的性质，统计中的分布信息往往是未知的，这样的随机变量习惯写作$X$。为了得到$X$的更多信息，需要采集它的观察值$X_1,X_2,\cdots ,X_n$，它们称为样本。一般假定$X_i$是与$X$同分布的独立随机变量，具体样本值则记作$x_i$。

　　统计问题中的主要信息就是样本值$X_i$，能对它进行的处理只有函数计算$f(X_1,\cdots ,X_n)$，这些函数值被称为样本统计量。统计量不能任意选取，它需要根据实际需要并一般有直观意义。比如最常用的统计量是式（1）中的样本均值$\overline{X}$和样本方差$S^2$，它们一般作为分布的均值和方差的估计值。

$$\begin{array}{}\text{(1)}& \overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i;S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X}{)}^2\end{array}$$

　　既然样本是随机变量，统计量自然也是随机变量。如果$X$的期望和方差是$(\mu ,{\sigma }^2)$，则易知$\overline{X}$是有期望$\mu$和方差${\displaystyle \frac{{\sigma }^2}{n}}$的随机变量。不难算得，$S^2$的期望值正好是${\sigma }^2$，所有系数取$\frac{1}{n-1}$是合理的，$S^2$的完整称谓是“修正的样本方差”。我们暂时可以这样“直觉”地解释这个现象：均值$\overline{X}$是由$X_i$生成的，它会随着$X_i$的变动而变动，这就导致真正自由、有效的变量减少了一个。下面马上会回来重新讨论这个问题。

　　更一般的，比较重要的统计量还有样本原点矩和样本中心距（式（2）），要注意$k>1$时，样本中心距都需要修正，只不过在$n$很大时可以近似地使用。其中一阶原点矩便是样本均值，二阶中心距便是未修正的样本方差，其它的统计量使用频率不高。

$$\begin{array}{}\text{(2)}& a_k=\frac{1}{n}\sum _{i=1}^n{X}_i^k;m_k=\frac{1}{n}\sum _{i=1}^n(X_i-\overline{X}{)}^k\end{array}$$

　　研究统计量是为了获取分布的信息，我们有一个很朴素的想法：当样本数足够多后，应当能绘制出分布函数$F(x)$的图形。根据分布函数的定义特点，可以定义这样一个统计量$v_n(x)$：它表示满足$X_i⩽x$的样本数，并记$F_n(x)={\displaystyle \frac{v_n(x)}{n}}$，它称为经验分布函数。对于指定的$x$，$F_n(x)$是随机变量，当把$x$也看作变量时，我们只好叫$F_n(x)$“随机函数”。不过不用担心概念会变复杂，因为$|F_n(x)-F(x)|$的最大值才是我们要关心的，而它是一个随机变量。数理统计中有著名的格里文科定理（式（3）），它说明$F_n(x)$以概率$1$收敛于$F(x)$。

$$\begin{array}{}\text{(3)}& P\{\underset{n\to \mathrm{\infty }}{lim}\underset{x\in \mathbb{R}}{sup}|F_n(x)-F(x)|=0\}=1\end{array}$$

1.2 统计量的自由度

　　在概率论中我们熟知一个结论：如果$X_1,\cdots ,X_n$互相不相关，则$Y=X_1+\cdots +X_n$的期望、方差可以简单地展开。$n$个$X_i$对$Y$的影响互不相关，这样的统计量十分易于讨论，我们暂且称它的自由度是$n$。下面就来研究一下样本方差的自由度为什么是$n-1$而不是$n$，不过在此之前，需要先讨论一下随机变量正交变换的性质。

　　对互不相关的随机变量$X_i$，设对它们做正交线性变换后得到$Y_i$，则首先容易得到式（4）。然后分别展开$E(Y_i{Y}_j)$和$E(Y_i)E(Y_j)$，根据正交性，以及$X_i$独立同分布，容易有式（5）成立，所以$Y_i$互不相关。这个结论对任何随机变量都成立，且也符合正交变换的一贯性质。

$$\begin{array}{}\text{(4)}& (X_1,\cdots ,X_n)=(Y_1,\cdots ,Y_n)A;A{A}^T=I\Rightarrow \sum _{i=1}^n{X}_i^2=\sum _{i=1}^n{Y}_i^2\end{array}$$

$$\begin{array}{}\text{(5)}& E(Y_i{Y}_j)-E(Y_i)E(Y_j)=\sum _{k=1}^n{a}_{ki}{a}_{kj}(E(X_k^2)-E^2(X_k))=0\end{array}$$

　　特别地，式（6）左的$Y_1$可以扩展为一个正交变换，利用式（4）便可得到式（6）右的结论。这不仅说明了$S^2$的自由度为$n-1$，还可以知道$\overline{X}$和$S^2$是不相关的，这个结论非常重要。

$$\begin{array}{}\text{(6)}& Y_1=\sqrt{n}\overline{X}\Rightarrow \sum _{i=1}^n(X_i-\overline{X}{)}^2=\sum _{i=1}^n{X}_i^2-Y_1^2=\sum _{i=2}^n{Y}_i^2\end{array}$$

　　对于满足再生性的随机变量，$Y_i$和$X_i$具有相同的分布类型，且可知满足式（6）的$Y_1$有期望$\sqrt{n}\mu$和方差${\sigma }^2$，而其它$Y_i$有期望$0$和方差${\sigma }^2$。特别地，当$X_i$是正态分布时，可以有式（7）成立，且$\overline{X}$与$S^2$相互独立。对$\overline{X}$的结论，一般写作式（8），右边是一个确定的分布（后面会用到）。

$$\begin{array}{}\text{(7)}& X_i\sim N(\mu ,{\sigma }^2)\Rightarrow Y_1\sim N(\sqrt{n}\mu ,{\sigma }^2);Y_i\sim N(0,{\sigma }^2)\end{array}$$

$$\begin{array}{}\text{(8)}& {\displaystyle \frac{\sqrt{n}(\overline{X}-\mu )}{\sigma }}\sim N(0,1)\end{array}$$

　　更一般地，对于自由度为$n$的随机变量$Q=X_1^2+\cdots +X_n^2$，其中$X_i$互不相关。现在把$Q$看成$X_i$的正定二次型，并记行向量$\overrightarrow{X}=[X_1,\cdots ,X_n]$。假设$Q$可以分解为$r$个半正定二次型之和（式（9）左），且$Q_k$的秩$n_k$满足$n_1+\cdots +n_r=n$。由$A_k$的秩为$n_k$且半正定可知，存在$n\times n_k$的矩阵$B_k$，使得$Q_k=\overrightarrow{X}{B}_k{B}_k^T{\overrightarrow{X}}^T$。

$$\begin{array}{}\text{(9)}& Q=Q_1+\cdots +Q_r=\overrightarrow{X}B{B}^T{\overrightarrow{X}}^T=\overrightarrow{Y}{\overrightarrow{Y}}^T\end{array}$$

　　令方阵$B=[B_1,\cdots ,B_r]$和$\overrightarrow{Y}=\overrightarrow{X}B$，则有$Q=\overrightarrow{Y}{\overrightarrow{Y}}^T$（式（9）右），从而$B{B}^T=I_n$，$B$是一个正交矩阵。因为$Y_j$是由$X_i$正交变换而来，故根据式（5）知$Y_j$互不相关，继而$Q_k$之间是互不相关的。值得提醒的是，当$Q$也是一般的半正定二次型时，结论仍然成立，这个条件使用起来会更方便，请自行论证。

　　现在利用这个结论再讨论$S^2$的自由度，首先显然有式（10）成立，其中的每一项都是关于$X_i$的半正定二次型。当半正定二次型具有形式$\sum _{i=1}^n{Z}_i^2$，且$Z_i$还有$r$个线性约束条件时，它本质上是关于$n-r$个自由变量的正定二次型，从而秩为$n-r$。这个小结论在判定二次型秩时很有用，比如$S^2$中设$Z_i=X_i-\overline{X}$，则有$1$个限制条件$Z_1+\cdots +Z_n=0$，从而$S^2$的秩为$n-1$。另外显然式（10）左的秩为$n$，$\overline{X}$的秩为$1$，满足以上定理的条件，故有$S^2,\overline{X}$不相关。

$$\begin{array}{}\text{(10)}& \sum _{i=1}^n{X}_i^2=n{\overline{X}}^2+(n-1)S^2\end{array}$$

2. 统计学三大分布

　　统计量也是随机变量，各种形式的统计量会产生许多新的随机变量，这些变量中的有些是经常出现的，有必要事先对它们做一些介绍。因为正态分布适用的场合最为广泛，这里的统计学三大分布都是基于正态分布的。

2.1 ${\chi }^2$（卡方）分布

　　在介绍${\chi }^2$分布之前，先讨论一个更一般的分布。将埃尔朗分布中的$r$扩展为任意正实数，得到的分布（11）称为$\Gamma$分布，一般记作$\Gamma (r,\lambda )$。式子中的$\Gamma (r)$确保了$p(x)$为密度函数，它被称为$\Gamma$函数。$\Gamma$函数在实数域是个$U$形函数，它有式（12）的基本结论，由于$\Gamma (n)=(n-1)!$，它也被看成是阶乘概念的扩展。

$$\begin{array}{}\text{(11)}& p(x)={\displaystyle \frac{{\lambda }^r}{\Gamma (r)}}{x}^{r-1}{e}^{-\lambda x},\Gamma (x)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{t}^{x-1}{e}^{-t}\text{d}t\end{array}$$

$$\begin{array}{}\text{(12)}& \Gamma (x+1)=x\Gamma (x);\Gamma (1)=1,\Gamma ({\displaystyle \frac{1}{2}})=\sqrt{\pi }\end{array}$$

　　$\Gamma$分布具有和埃尔朗分布同样的特征函数，并且也满足再生性。这里不打算讨论$\Gamma$分布的更多性质，而是关注它的一类特例。假设$X\sim N(0,1)$，可以证明$X^2\sim \Gamma ({\displaystyle \frac{1}{2}},{\displaystyle \frac{1}{2}})$，这是个奇妙的巧合！如果$X_1,\cdots ,X_n$是独立的标准状态分布，利用再生性有式（13）成立，它被称为自由度为$n$的${\chi }^2$（卡方）分布，记作${\chi }_n^2$。

$$\begin{array}{}\text{(13)}& X_i\sim N(0,1)\Rightarrow \sum _{i=1}^n{X}_i^2\sim \Gamma ({\displaystyle \frac{n}{2}},{\displaystyle \frac{1}{2}})={\chi }_n^2\end{array}$$

　　上图是${\chi }^2$分布的密度函数，$n=1$时便是$X^2$，它有两条渐近线，$n=2$时是指数分布，$n>2$时分布曲线类似但越来越扁平。容易算得${\chi }_1^2$有期望$1$和方差$2$，这就得到${\chi }_n^2$分布的期望和方差（式（14））。继续上面对$S^2$的讨论，由于$Y_i\sim N(0,{\sigma }^2)$，可以得到$S^2$满足式（15）。另外如果$X$是指数函数，显然有$2\lambda X\sim {\chi }_2^2$。

$$\begin{array}{}\text{(14)}& Y\sim {\chi }_n^2\Rightarrow E(Y)=n;D(Y)=2n\end{array}$$

$$\begin{array}{}\text{(15)}& {\displaystyle \frac{(n-1)S^2}{{\sigma }^2}}\sim {\chi }_{n-1}^2\end{array}$$

　　${\chi }^2$分布的引入无非是为了讨论样本方差的性质，这个分布中不含有任何未知的参数，这种确定的分布非常便于概率的量化计算。但在量化分析的表达式中，不应该含有未知的参数（样本值$X_i$、样本容量$n$等属于已知量），这样的表达式一般称为枢轴变量。简单说，枢轴变量由已知量组成，且形成一个确定的分布，这个以后会深入讨论。

　　一般教材上自由度的概念定义在随机变量$Q=X_1^2+\cdots +X_n^2$上，其中$X_i$是独立的标准正交分布。如果$Q$可以分解为$k$个半正定二次型，且秩的和为$n$，则根据前面关于自由度的结论，变换矩阵$B$为正交矩阵，从而$Y_i$也是互相独立的正交分布。进而$Q_k$是自由度为$n_k$的卡方分布，且它们互相独立。这个结论称为柯赫伦（Cochran）分解定理，在数理统计中有着非常普遍的应用。

2.2 $t$分布

　　公式（8）中参数$\sigma$往往是未知的，这会给分析带来困难，这时可以用$S$可以做为$\sigma$的近似。令$X,Y$分别代表式（8）（15）中的变量，消除$\sigma$后就形成变量${\displaystyle \frac{X}{\sqrt{Y/(n-1)}}}$。这应当是我们要关心的数轴变量，它的分布是确定，为了便于讨论研究，需要为它作个定义。一般地，式（16）中的分布被称为自由度为$n$的$t$分布，记作$t_n$。下图是其密度函数，有人已经证明，当$n\to \mathrm{\infty }$时，$t$分布收敛于正态分布，这也是符合直觉的。

$$\begin{array}{}\text{(16)}& X\sim N(0,1);Y\sim {\chi }_n^2\Rightarrow {\displaystyle \frac{X}{\sqrt{Y/n}}}\sim t_n\end{array}$$

　　再回到对式（8）（15）的讨论，显然有式（17）成立，这个结论以后经常用到。关于（17）式我想强调一下，式中好像是用$S$取代了$\sigma$，这只是巧合而已，不要忘了其背后原理还是（8）（15）的结合。是因为$\sigma$恰巧被消掉才出现了式（17），遇到更复杂的情况时，要重新仔细计算（下一篇将遇到）。

$$\begin{array}{}\text{(17)}& {\displaystyle \frac{\sqrt{n}(\overline{X}-\mu )}{S}}\sim t_{n-1}\end{array}$$

2.3 $F$分布

　　还有一种常见的场景，就是比较两个分布的方差比${\sigma }_1^2/{\sigma }_2^2$。同样利用$S_i^2$近似${\sigma }_i^2$，并利用公式（15）可以进行类似的讨论。为此，将式（18）中的分布被称为自由度为$m,n$的$F$分布，记作$F_{m,n}$，下图是它的密度函数。

$$\begin{array}{}\text{(18)}& X\sim {\chi }_m^2;Y\sim {\chi }_n^2\Rightarrow {\displaystyle \frac{X/m}{Y/n}}\sim F_{m,n}\end{array}$$

　　回到方差的比较，设$X,Y$的方差分别为${\sigma }_1^2,{\sigma }_2^2$，样本容量分别为$m,n$，样本方差分别为$S_1^2,S_2^2$，容易知道有式（19）成立。

$$\begin{array}{}\text{(19)}& {\displaystyle \frac{S_1^2}{S_2^2}}\cdot {\displaystyle \frac{{\sigma }_2^2}{{\sigma }_1^2}}\sim F_{m-1,n-1}\end{array}$$

　　数理统计中使用分布函数时，和概率论中是相反的，即根据概率值来确定随机变量的值。满足$P(X>C)=\alpha$的$C$被称为分布的$\alpha$上分位点，对于正态分布和上面的三大分布，$\alpha$上分位点分别记作$u(\alpha ),{\chi }_n^2(\alpha ),t_n(\alpha ),F_{m,n}(\alpha )$。其中$t_n,F_{m,n}$有式（20）的简单性质，它们在计算和制表中比较有用，证明比较简单，请自行验证。

$$\begin{array}{}\text{(20)}& t_n(1-\alpha )+t_n(\alpha )=0;F_{m,n}(\alpha )\cdot F_{n,m}(1-\alpha )=1\end{array}$$