【数理统计基础】 02 - 统计量和三大分布
1. 样本和统计量
1.1 样本和统计量
数理统计讨论的问题不一定都是随机现象，比如人口信息的统计、具体数据的测量，它们的结果都是确定的。但实际问题的操作并不是数学所关心的，剥离问题的外壳，这些问题都可以用随机现象来描述，比如人口信息和测量误差都可以用一个正态分布来近似。建立统计的概率模型，正是数理统计区别于广义统计学的关键，为模型定义统一、明确的对象也是任何数学分支的起点。
既然这样，数理统计的研究对象其实还是随机变量，具体问题中所有可能的取值被称为全体，而每一个值称为个体。不同于概率论中研究分布的性质，统计中的分布信息往往是未知的，这样的随机变量习惯写作\(X\)。为了得到\(X\)的更多信息，需要采集它的观察值\(X_1,X_2,\cdots,X_n\)，它们称为样本。一般假定\(X_i\)是与\(X\)同分布的独立随机变量，具体样本值则记作\(x_i\)。
统计问题中的主要信息就是样本值\(X_i\)，能对它进行的处理只有函数计算\(f(X_1,\cdots,X_n)\)，这些函数值被称为样本统计量。统计量不能任意选取，它需要根据实际需要并一般有直观意义。比如最常用的统计量是式（1）中的样本均值\(\bar{X}\)和样本方差\(S^2\)，它们一般作为分布的均值和方差的估计值。
\[\bar{X}=\frac{1}{n}\sum\limits_{i=1}^nX_i;\;\;S^2=\frac{1}{n-1}\sum\limits_{i=1}^n(X_i-\bar{X})^2\tag{1}\]
既然样本是随机变量，统计量自然也是随机变量。如果\(X\)的期望和方差是\((\mu,\sigma^2)\)，则易知\(\bar{X}\)是有期望\(\mu\)和方差\(\dfrac{\sigma^2}{n}\)的随机变量。不难算得，\(S^2\)的期望值正好是\(\sigma^2\)，所有系数取\(\frac{1}{n-1}\)是合理的，\(S^2\)的完整称谓是“修正的样本方差”。我们暂时可以这样“直觉”地解释这个现象：均值\(\bar{X}\)是由\(X_i\)生成的，它会随着\(X_i\)的变动而变动，这就导致真正自由、有效的变量减少了一个。下面马上会回来重新讨论这个问题。
更一般的，比较重要的统计量还有样本原点矩和样本中心距（式（2）），要注意\(k>1\)时，样本中心距都需要修正，只不过在\(n\)很大时可以近似地使用。其中一阶原点矩便是样本均值，二阶中心距便是未修正的样本方差，其它的统计量使用频率不高。
\[a_k=\frac{1}{n}\sum\limits_{i=1}^nX_i^k;\;\;m_k=\frac{1}{n}\sum\limits_{i=1}^n(X_i-\bar{X})^k\tag{2}\]
研究统计量是为了获取分布的信息，我们有一个很朴素的想法：当样本数足够多后，应当能绘制出分布函数\(F(x)\)的图形。根据分布函数的定义特点，可以定义这样一个统计量\(v_n(x)\)：它表示满足\(X_i\leqslant x\)的样本数，并记\(F_n(x)=\dfrac{v_n(x)}{n}\)，它称为经验分布函数。对于指定的\(x\)，\(F_n(x)\)是随机变量，当把\(x\)也看作变量时，我们只好叫\(F_n(x)\)“随机函数”。不过不用担心概念会变复杂，因为\(|F_n(x)-F(x)|\)的最大值才是我们要关心的，而它是一个随机变量。数理统计中有著名的格里文科定理（式（3）），它说明\(F_n(x)\)以概率\(1\)收敛于\(F(x)\)。
\[P\left\{\lim_{n\to\infty}\sup_{x\in\mathbb{R}}\left|F_n(x)-F(x)\right|=0\right\}=1\tag{3}\]
1.2 统计量的自由度
在概率论中我们熟知一个结论：如果\(X_1,\cdots,X_n\)互相不相关，则\(Y=X_1+\cdots+X_n\)的期望、方差可以简单地展开。\(n\)个\(X_i\)对\(Y\)的影响互不相关，这样的统计量十分易于讨论，我们暂且称它的自由度是\(n\)。下面就来研究一下样本方差的自由度为什么是\(n-1\)而不是\(n\)，不过在此之前，需要先讨论一下随机变量正交变换的性质。
对互不相关的随机变量\(X_i\)，设对它们做正交线性变换后得到\(Y_i\)，则首先容易得到式（4）。然后分别展开\(E(Y_iY_j)\)和\(E(Y_i)E(Y_j)\)，根据正交性，以及\(X_i\)独立同分布，容易有式（5）成立，所以\(Y_i\)互不相关。这个结论对任何随机变量都成立，且也符合正交变换的一贯性质。
\[(X_1,\cdots,X_n)=(Y_1,\cdots,Y_n)A;\,AA^T=I\;\Rightarrow\;\sum_{i=1}^nX_i^2=\sum_{i=1}^nY_i^2\tag{4}\]
\[E(Y_iY_j)-E(Y_i)E(Y_j)=\sum_{k=1}^na_{ki}a_{kj}(E(X_k^2)-E^2(X_k))=0\tag{5}\]
特别地，式（6）左的\(Y_1\)可以扩展为一个正交变换，利用式（4）便可得到式（6）右的结论。这不仅说明了\(S^2\)的自由度为\(n-1\)，还可以知道\(\bar{X}\)和\(S^2\)是不相关的，这个结论非常重要。
\[Y_1=\sqrt{n}\bar{X}\;\Rightarrow\;\sum_{i=1}^n(X_i-\bar{X})^2=\sum_{i=1}^nX_i^2-Y_1^2=\sum_{i=2}^nY_i^2\tag{6}\]
对于满足再生性的随机变量，\(Y_i\)和\(X_i\)具有相同的分布类型，且可知满足式（6）的\(Y_1\)有期望\(\sqrt{n}\mu\)和方差\(\sigma^2\)，而其它\(Y_i\)有期望\(0\)和方差\(\sigma^2\)。特别地，当\(X_i\)是正态分布时，可以有式（7）成立，且\(\bar{X}\)与\(S^2\)相互独立。对\(\bar{X}\)的结论，一般写作式（8），右边是一个确定的分布（后面会用到）。
\[X_i\sim N(\mu,\sigma^2)\;\Rightarrow\;Y_1\sim N(\sqrt{n}\mu,\sigma^2);\; Y_i\sim N(0,\sigma^2)\tag{7}\]
\[\dfrac{\sqrt{n}(\bar{X}-\mu)}{\sigma}\sim N(0,1)\tag{8}\]
更一般地，对于自由度为\(n\)的随机变量\(Q=X_1^2+\cdots+X_n^2\)，其中\(X_i\)互不相关。现在把\(Q\)看成\(X_i\)的正定二次型，并记行向量\(\vec{X}=[X_1,\cdots,X_n]\)。假设\(Q\)可以分解为\(r\)个半正定二次型之和（式（9）左），且\(Q_k\)的秩\(n_k\)满足\(n_1+\cdots+n_r=n\)。由\(A_k\)的秩为\(n_k\)且半正定可知，存在\(n\times n_k\)的矩阵\(B_k\)，使得\(Q_k=\vec{X}B_kB_k^T\vec{X}^T\)。
\[Q=Q_1+\cdots+Q_r=\vec{X}BB^T\vec{X}^T=\vec{Y}\vec{Y}^T\tag{9}\]
令方阵\(B=[B_1,\cdots,B_r]\)和\(\vec{Y}=\vec{X}B\)，则有\(Q=\vec{Y}\vec{Y}^T\)（式（9）右），从而\(BB^T=I_n\)，\(B\)是一个正交矩阵。因为\(Y_j\)是由\(X_i\)正交变换而来，故根据式（5）知\(Y_j\)互不相关，继而\(Q_k\)之间是互不相关的。值得提醒的是，当\(Q\)也是一般的半正定二次型时，结论仍然成立，这个条件使用起来会更方便，请自行论证。
现在利用这个结论再讨论\(S^2\)的自由度，首先显然有式（10）成立，其中的每一项都是关于\(X_i\)的半正定二次型。当半正定二次型具有形式\(\sum\limits_{i=1}^nZ_i^2\)，且\(Z_i\)还有\(r\)个线性约束条件时，它本质上是关于\(n-r\)个自由变量的正定二次型，从而秩为\(n-r\)。这个小结论在判定二次型秩时很有用，比如\(S^2\)中设\(Z_i=X_i-\bar{X}\)，则有\(1\)个限制条件\(Z_1+\cdots+Z_n=0\)，从而\(S^2\)的秩为\(n-1\)。另外显然式（10）左的秩为\(n\)，\(\bar{X}\)的秩为\(1\)，满足以上定理的条件，故有\(S^2,\bar{X}\)不相关。
\[\sum_{i=1}^nX_i^2=n\bar{X}^2+(n-1)S^2\tag{10}\]
2. 统计学三大分布
统计量也是随机变量，各种形式的统计量会产生许多新的随机变量，这些变量中的有些是经常出现的，有必要事先对它们做一些介绍。因为正态分布适用的场合最为广泛，这里的统计学三大分布都是基于正态分布的。
2.1 \(\chi^2\)（卡方）分布
在介绍\(\chi^2\)分布之前，先讨论一个更一般的分布。将埃尔朗分布中的\(r\)扩展为任意正实数，得到的分布（11）称为\(\varGamma\)分布，一般记作\(\varGamma(r,\lambda)\)。式子中的\(\varGamma(r)\)确保了\(p(x)\)为密度函数，它被称为\(\varGamma\)函数。\(\varGamma\)函数在实数域是个\(U\)形函数，它有式（12）的基本结论，由于\(\varGamma(n)=(n-1)!\)，它也被看成是阶乘概念的扩展。
\[p(x)=\dfrac{\lambda^r}{\varGamma(r)}x^{r-1}e^{-\lambda x},\;\varGamma(x)=\int_{-\infty}^{+\infty}t^{x-1}e^{-t}\,\text{d}t\tag{11}\]
\[\varGamma(x+1)=x\varGamma(x);\;\;\varGamma(1)=1,\;\varGamma(\dfrac{1}{2})=\sqrt{\pi}\tag{12}\]
\(\varGamma\)分布具有和埃尔朗分布同样的特征函数，并且也满足再生性。这里不打算讨论\(\varGamma\)分布的更多性质，而是关注它的一类特例。假设\(X\sim N(0,1)\)，可以证明\(X^2\sim\varGamma(\dfrac{1}{2},\dfrac{1}{2})\)，这是个奇妙的巧合！如果\(X_1,\cdots,X_n\)是独立的标准状态分布，利用再生性有式（13）成立，它被称为自由度为\(n\)的\(\chi^2\)（卡方）分布，记作\(\chi_n^2\)。
\[X_i\sim N(0,1)\;\Rightarrow\;\sum_{i=1}^nX_i^2\sim\varGamma(\dfrac{n}{2},\dfrac{1}{2})=\chi_n^2\tag{13}\]
上图是\(\chi^2\)分布的密度函数，\(n=1\)时便是\(X^2\)，它有两条渐近线，\(n=2\)时是指数分布，\(n>2\)时分布曲线类似但越来越扁平。容易算得\(\chi_1^2\)有期望\(1\)和方差\(2\)，这就得到\(\chi_n^2\)分布的期望和方差（式（14））。继续上面对\(S^2\)的讨论，由于\(Y_i\sim N(0,\sigma^2)\)，可以得到\(S^2\)满足式（15）。另外如果\(X\)是指数函数，显然有\(2\lambda X\sim\chi_2^2\)。
\[Y\sim \chi_n^2\;\Rightarrow\;E(Y)=n;\;D(Y)=2n\tag{14}\]
\[\dfrac{(n-1)S^2}{\sigma^2}\sim\chi_{n-1}^2\tag{15}\]
\(\chi^2\)分布的引入无非是为了讨论样本方差的性质，这个分布中不含有任何未知的参数，这种确定的分布非常便于概率的量化计算。但在量化分析的表达式中，不应该含有未知的参数（样本值\(X_i\)、样本容量\(n\)等属于已知量），这样的表达式一般称为枢轴变量。简单说，枢轴变量由已知量组成，且形成一个确定的分布，这个以后会深入讨论。
一般教材上自由度的概念定义在随机变量\(Q=X_1^2+\cdots+X_n^2\)上，其中\(X_i\)是独立的标准正交分布。如果\(Q\)可以分解为\(k\)个半正定二次型，且秩的和为\(n\)，则根据前面关于自由度的结论，变换矩阵\(B\)为正交矩阵，从而\(Y_i\)也是互相独立的正交分布。进而\(Q_k\)是自由度为\(n_k\)的卡方分布，且它们互相独立。这个结论称为柯赫伦（Cochran）分解定理，在数理统计中有着非常普遍的应用。
2.2 \(t\)分布
公式（8）中参数\(\sigma\)往往是未知的，这会给分析带来困难，这时可以用\(S\)可以做为\(\sigma\)的近似。令\(X,Y\)分别代表式（8）（15）中的变量，消除\(\sigma\)后就形成变量\(\dfrac{X}{\sqrt{Y/(n-1)}}\)。这应当是我们要关心的数轴变量，它的分布是确定，为了便于讨论研究，需要为它作个定义。一般地，式（16）中的分布被称为自由度为\(n\)的\(t\)分布，记作\(t_n\)。下图是其密度函数，有人已经证明，当\(n\to\infty\)时，\(t\)分布收敛于正态分布，这也是符合直觉的。
\[X\sim N(0,1);\;Y\sim \chi_n^2\;\Rightarrow\;\dfrac{X}{\sqrt{Y/n}}\sim t_n\tag{16}\]
再回到对式（8）（15）的讨论，显然有式（17）成立，这个结论以后经常用到。关于（17）式我想强调一下，式中好像是用\(S\)取代了\(\sigma\)，这只是巧合而已，不要忘了其背后原理还是（8）（15）的结合。是因为\(\sigma\)恰巧被消掉才出现了式（17），遇到更复杂的情况时，要重新仔细计算（下一篇将遇到）。
\[\dfrac{\sqrt{n}(\bar{X}-\mu)}{S}\sim t_{n-1}\tag{17}\]
2.3 \(F\)分布
还有一种常见的场景，就是比较两个分布的方差比\(\sigma_1^2/\sigma_2^2\)。同样利用\(S_i^2\)近似\(\sigma_i^2\)，并利用公式（15）可以进行类似的讨论。为此，将式（18）中的分布被称为自由度为\(m,n\)的\(F\)分布，记作\(F_{m,n}\)，下图是它的密度函数。
\[X\sim\chi_m^2;\;Y\sim\chi_n^2\;\Rightarrow\;\dfrac{X/m}{Y/n}\sim F_{m,n}\tag{18}\]
回到方差的比较，设\(X,Y\)的方差分别为\(\sigma_1^2,\sigma_2^2\)，样本容量分别为\(m,n\)，样本方差分别为\(S_1^2,S_2^2\)，容易知道有式（19）成立。
\[\dfrac{S_1^2}{S_2^2}\cdot\dfrac{\sigma_2^2}{\sigma_1^2}\sim F_{m-1,n-1}\tag{19}\]
数理统计中使用分布函数时，和概率论中是相反的，即根据概率值来确定随机变量的值。满足\(P(X>C)=\alpha\)的\(C\)被称为分布的\(\alpha\)上分位点，对于正态分布和上面的三大分布，\(\alpha\)上分位点分别记作\(u(\alpha),\chi_n^2(\alpha),t_n(\alpha),F_{m,n}(\alpha)\)。其中\(t_n,F_{m,n}\)有式（20）的简单性质，它们在计算和制表中比较有用，证明比较简单，请自行验证。
\[t_n(1-\alpha)+t_n(\alpha)=0;\;\;F_{m,n}(\alpha)\cdot F_{n,m}(1-\alpha)=1\tag{20}\]
