数理统计笔记

由于学校的概率论与数理统计课有些一言难尽，开始在这里自学书上后面的数理统计部分的知识。

---

1. 基本概念

数理统计学中，我们通常将研究的对象叫做总体，而组成总体的基本单元称为个体，我们认为一个随机变量为一个总体，总体的 \(n\) 个测量结果 \((x_1, x_2, \cdots, x_n)\) 为一个随机向量 \((X_1, X_2, \cdots, X_n)\) 的观察值。其中随机向量的每个分量都是随机且独立的。

设 \((X_1, X_2, \cdots, X_n)\) 是一个 \(n\) 维随机向量，且 \(X_i\,(i = 1, 2, \cdots, n)\) 与 \(X\) 同分布且相互独立，则称这个随机向量为 \(X\) 的一个简单随机样本，简称样本，称 \(n\) 为样本空间。

显然由于独立性，若 \(X\) 的密度函数为 \(f(x)\)，则 \((X_1, X_2, \cdots, X_n)\) 的联合密度函数为：

\[g(x_1, x_2, \cdots, x_n) = \prod_{i = 1}^n f(x_i) \]

同理，若 \(X\) 的分布函数为 \(F(x)\)，则 \((X_1, X_2, \cdots, X_n)\) 的联合分布函数为：

\[G(x_1, x_2, \cdots, x_n) = \prod_{i = 1}^n F(x_i) \]

通常我们希望通过一组数据得出一些信息，所以我们定义统计量，即设 \((X_1, X_2, \cdots, X_n)\) 是总体 \(X\) 的一个样本，函数 \(T(X_1, X_2, \cdots, X_n)\) 是未知量 \(x_1, x_2, \cdots, x_n\) 一个不含未知量的参数的函数，则称 \(T(X_1, X_2, \cdots, X_n)\) 是一个统计量。如果将样本值代入函数，那么就称这个函数值为统计量的观察值。

常用统计量有：

• 样本均值：

\[\bar{X} = \dfrac{1}{n} \sum_{i = 1}^n X_i \]

• 样本方差：

\[S^2 = \dfrac{1}{n - 1} \sum_{i = 1}^n (X_i - \bar{X}) \]

同样，也有标准差：\(s = \sqrt{\dfrac{1}{n - 1} \sum_{i = 1}^n \limits (X_i - \bar{X})}\)。

• 样本矩：

样本 \(k\) 阶原点矩为：

\[A_k = \dfrac{1}{n} \sum_{i = 1}^n X_i^k \]

样本 \(k\) 阶中心矩为：

\[B_k = \dfrac{1}{n} \sum_{i = 1}^n (X_i - \bar{X})^k \]

可以看到：

\[A_1 = \bar{X}, B_2 = \dfrac{n - 1}{n} S^2 \]

注意到样本方差的定义与离散随机变量方差的定义之中，两个定义的分母不同，这是因为这样定义可以使得 \(E(S^2) = D(X)\)，我们将在估计量的无偏性这个知识点处证明这一点。

而且由于辛钦大数定律，我们可以证明，如果 \(X\) 的 \(k\) 阶原点矩存在，\(E(X^k) = \mu_k\)，则样本原点矩依概率收敛于 \(\mu_k\)。

设 \(X\) 是一个随机变量，\(\alpha\) 为满足 \(0 < \alpha < 1\) 的实数，若数 \(x_{1 - \alpha}\) 满足

\[P\{X \le x_{1 - \alpha}\} = 1 - \alpha \]

则称 \(x_{1 - \alpha}\) 为 \(X\) 的上 \(\alpha\) 分位数，简称分位数，或分位点，或临界值。

如果数 \(x_{\alpha}\) 满足

\[P\{X \le x_{\alpha} \} = \alpha \]

则称 \(x_{\alpha}\) 为 \(X\) 的下 \(\alpha\) 分位数。

对于标准正态分布变量 \(X \sim N(0, 1)\)，上 \(\alpha\) 分位数记作 \(u_{1 - \alpha}\)，显然有：

\[\Phi(u_{1 - \alpha}) = 1 - \alpha \\ u_{\alpha} = -u_{1 - \alpha} \]

2. 抽样分布与抽样分布定理

由于统计量也是样本的一个函数，由于其也是随机变量，也有分布函数。统计量的分布被称为抽样分布。

2.1 常见抽样分布

我们下面来介绍三个著名的统计量：

• \(\chi^2\) 分布

设总体 \(X \sim N(0, 1)\)，\((X_1, X_2, \cdots, X_n)\) 是取自 \(X\) 的一个容量为 \(n\) 的样本，则称随机变量

\[\chi^2 = X_1^2 + X_2^2 + \cdots + X_n^2 \]

服从的分布自由度为 \(n\) 的 \(\chi^2\) 分布，记作 \(\chi^2 \sim \chi^2(n)\)。其中分布自由度是上式平方和中独立的随机变量的个数。

我们可以求出 \(\chi^2\) 分布的概率密度函数：

\[f(x) = \begin{cases} \dfrac{1}{2^{\frac{n}{2}} \Gamma(\frac{n}{2})} x^{\frac{n}{2} - 1} e^{-\frac{x}{2}}, & x \ge 0; \\ 0, & x < 0. \end{cases} \]

其中 \(\Gamma(z)\) 即：

\[\Gamma(z) = \int_{0}^{+\infty} t^{z - 1} e^{-t} dt \]

其被视为阶乘函数在复数域内的拓展，对于正整数 \(z\) 来说，我们有 \(\Gamma(z) = (z - 1)!\)

不难发现，当 \(n = 2\) 时，此分布为 \(\lambda = \frac{1}{2}\) 的指数分布。

由 \(\Gamma(\frac{1}{2}) = \sqrt{\pi}, \Gamma(z + 1) = z \Gamma(z)\) 的结论，我们可以计算出 \(\chi^2\) 分布的期望和方差：

由于对于 \(n\) 随机变量中任意一个 \(X_i\) 我们都有 \(X_i \sim N(0, 1)\)，则：

\[E(X_i^2) = D(X_i) + [E(X_i)]^2 = 1 \\ \begin{aligned} D(X_i^2) &= E(X_i^4) - [E(X_i^2)]^2 \\ &= \dfrac{1}{\sqrt{2 \pi}} \int_{-\infty}^{+\infty} x^4 e^{-\frac{x^2}{2}} dx - 1 \\ &= \dfrac{2}{\sqrt{2 \pi}} \int_0^{+\infty} x^4 e^{-\frac{x^2}{2}} dx - 1 \\ &= \dfrac{4}{\sqrt{\pi}} \int_0^{+\infty} t^{\frac{3}{2}} e^{-t} dt - 1 \\ &= \dfrac{4}{\sqrt{\pi}} \Gamma\left(\frac{5}{2}\right) - 1 \\ &= 2 \end{aligned} \]

由于 \(X_i\) 间相互独立，所以有：

\[E(\chi^2) = \sum_{i = 1}^n E(X_i^2) = n\\ D(\chi^2) = \sum_{i = 1}^n D(X_i^2) = 2n \]

有中心极限定理可知，我们有：

\[\lim_{n \rightarrow +\infty} P\{ \dfrac{\chi^2 - n}{\sqrt{2n}} \le x \} = \Phi(x) \]

显然我们可以通过此式得到 \(\chi^2\) 分布函数的估算方法，即：

\[P\{ \chi^2 \le x \} \approx \Phi( \dfrac{x - n}{\sqrt{2n}} ) \]

通常 \(\chi^2\) 分布的 \(\alpha\) 分位数记作 \(\chi^2_{1 - \alpha}(n)\)，进而我们有：

\[\chi^2_{1 - \alpha}(n) \approx n + \sqrt{2n} u_{1 - \alpha} \]

由定义可知，\(\chi^2\) 分布对参数有可加性，故若 \(\chi^2_1 \sim \chi^2(n_1), \chi^2_2 \sim \chi^2(n_2)\)，则有 \(\chi^2_1 + \chi^2_2 \sim \chi^2(n_1 + n_2)\)。

• t 分布

设 \(X \sim N(0, 1), Y \sim \chi^2(n)\)，且 \(X, Y\) 相互独立，令

\[T = \dfrac{X}{\sqrt{Y / n}} \]

称 T 服从的分布为自由度为 \(n\) 的 t 分布，记作 \(T \sim t(n)\)。

我们可以根据 \(Z = X / Y\) 型随机变量概率密度函数的计算方法，我们可以导出 t 分布的概率密度函数为：

\[f(x) = \dfrac{\Gamma(\frac{n + 1}{2})}{\sqrt{n \pi} \Gamma(\frac{n}{2}) } \left( 1 + \dfrac{x^2}{n} \right)^{- \frac{n + 1}{2}}, -\infty < x < +\infty \]

当 \(n = 1\) 时，\(f(x) = \frac{1}{\pi} \frac{1}{1 + x^2}\)，被称为柯西分布。根据 \(p\) 积分和反常积分的敛散性判断理论，我们可以得知其期望不存在。而同理，当 \(n \ge 2\) 时，t 分布的期望存在，且由于 \(xf(x)\) 为奇函数，故 \(E(T) = 0\)。我们可以证明当 \(n\) 趋于无穷时，t 分布的概率密度函数趋近于标准正态分布。

我们通常将 t 分布的 \(\alpha\) 分位数记作 \(t_{1 - \alpha}(n)\)，则我们可以得知：

\[t_{1 - \alpha}(n) \approx u_{1 - \alpha} \\ t_{\alpha}(n) \approx -t_{1 - \alpha}(n) \]

• F 分布

设 \(X \sim \chi^2(n_1), Y \sim \chi^2(n_2)\)，\(X, Y\) 相互独立，令

\[F = \dfrac{X / n_1}{Y / n_2} \]

称 \(F\) 服从的分布为自由度 \((n_1, n_2)\) 的 F 分布，记作 \(F \sim F(n_1, n_2)\)

我们可以证明，F 分布的概率密度函数为：

\[f(x) = \begin{cases} \dfrac{\Gamma(\frac{n_1 + n_2}{2})}{\Gamma(\frac{n_1}{2}) \Gamma(\frac{n_2}{2})} \left( \dfrac{n_1}{n_2} \right)^{\frac{n_1}{2}} x^{\frac{n_1}{2} - 1} \left( 1 + \frac{n_1}{n_2} \right)^{-\frac{n_1 + n_2}{2}}, & x \ge 0 \\ 0, & x < 0 \end{cases} \]

我们由定义可知，若 \(F \sim F(n_1, n_2)\)：

\[\dfrac{1}{F} \sim F(n_2, n_1) \]

若设 F 的概率分布函数为 \(F_{n_1, n_2}(x)\)，则我们可以知道：

\[F_{n_1, n_2}(x) = 1 - F_{n_2, n_1} \left( \frac{1}{x} \right) \]

如果用 \(F_{1 - \alpha}(n_1, n_2)\) 表明 F 分布的 \(\alpha\) 分位数，则有：

\[F_{\alpha}(n_1, n_2) = \dfrac{1}{F_{1 - \alpha}(n_2, n_1)} \]

2.2 抽样分布定理

设总体 \(X \sim N(\mu, \sigma^2)\)，则对于总体的一个样本 \((X_1, X_2, \cdots, X_n)\)，则样本均值 \(\bar{X}\) 有 \(\bar{X} \sim N(\mu, \frac{\sigma^2}{n})\)。

证明只需考虑，由于 \(X_i\) 间互相独立，故

\[E(\bar{X}) = \dfrac{1}{n} \sum_{i = 1}^n E(X_i) = \mu \\ D(\bar{X}) = \dfrac{1}{n^2} \sum_{i = 1}^n D(X_i) = \dfrac{\sigma^2}{n} \]

我们同样可以得到推论，\(\frac{\bar{X} - \mu}{\sigma / \sqrt{n}} \sim N(0, 1)\)。

若设总体 \(X \sim N(\mu, \sigma^2)\)，则样本均值 \(\bar{X}\) 和样本方差 \(S^2\) 相互独立，且

\[\chi^2 = \dfrac{(n - 1)S^2}{\sigma^2} \sim \chi^2(n - 1) \]

这个证明需要用到 \(n\) 维正态分布的性质，由于并没有很了解这方面的知识，所以不做详细证明。

设总体 \(N \sim N(\mu, \sigma^2)\) 则，我们可以通过上方两个结论得出：

\[T = \frac{\bar{X} - \mu}{S / \sqrt{n}} \sim t(n - 1) \]

设 \((X_1, X_2, \cdots, X_{n_1})\) 是从总体 \(X \sim N(\mu_1, \sigma^2)\) 中抽取的容量为 \(n_1\) 的样本，\(S_1^2\) 是其样本方差；\((Y_1, Y_2, \cdots, Y_n)\) 是从总体 \(Y \sim N(\mu_2, \sigma^2)\) 中抽取的容量为 \(n_2\) 的样本，\(S_2^2\) 是样本方差，且两个样本相互独立，则

\[T = \dfrac{(\bar{X} - \bar{Y}) - (\mu_1 - \mu_2)}{S_w \sqrt{\frac{1}{n_1} + \frac{1}{n_2}}} \sim t(n_1 + n_2 - 2) \]

其中

\[S_w = \sqrt{\dfrac{(n_1 - 1)S_1^2 + (n_2 - 1)S_2^2}{n_1 + n_2 - 2}} \]

设从总体 \(X \sim N(\mu_1, \sigma^2)\) 中抽取容量为 \(n_1\) 的样本，其方差为 \(S_1^2\), 从总体 \(Y \sim N(\mu_2, \sigma^2)\) 中抽取容量为 \(n_2\) 的样本，其方差为 \(S_2^2\)，且两个样本相互独立，则随机变量

\[F = \dfrac{\sigma_2^2 S_1^2}{\sigma_1^2 S_2^2} \sim F(n_1 - 1, n_2 - 1) \]

3. 参数估计

3.1 参数点估计

3.1.1 矩估计法

如果概率密度函数中有未知参数，且其分布的矩存在，我们可以采用矩估计法。即让样本的矩代替总体矩。通过计算样本矩，得出样本矩和未知参数的关系，进而求解未知参数。

3.1.2 最大似然估计法

当概率密度函数中有未知参数时，我们选取 \(\hat{\theta}\) 作为未知参数的估计值，使得当 \(\theta = \hat{\theta}\) 时，样本取到实验值的概率最大。

设总体 \(X\) 的概率分布已知，分布密度函数为 \(f(x, \theta)\)，从 \(X\) 中抽取一个容量为 \(n\) 的样本 \((X_1, X_2, \cdots, X_n)\)，由于 \(X_1, X_2, \cdots, X_n\) 均相互独立且与 \(X\) 同分布，记其联合分布密度函数为：

\[L(\theta, x_1, x_2, \cdots, x_n) = \prod_{i = 1}^n f(x_i, \theta) \]

当样本值取定时，\(L(\theta, x_1, x_2, \cdots, x_n)\) 即为 \(\theta\) 的函数记作 \(L(\theta)\)，称为似然函数。它反映了样本在 \(\theta\) 变化时取值概率的大小。我们所要寻找的即为 \(L(\theta)\) 最大时 \(\theta\) 的值。

即称满足

\[L(\hat{\theta}) = \max_{\theta} \{ L(\theta) \} \]

的数 \(\hat{\theta}\) 为参数 \(\theta\) 的最大似然估计值，得到的统计量 \(\hat{\theta}(X_1, X_2, \cdots, X_n)\) 称为 \(X\) 的最大似然估计量。

由函数求最值的方法，如果其可导，我们可以通过求导求 \(L(\theta)\) 的最大值。我们称

\[\dfrac{d}{d\theta} L(\theta) = 0 \]

为 \(\theta\) 的似然方程。注意到 \(L(\theta)\) 常为多个表达式的乘积，故我们可以考虑对其求自然对数后再求最值，即求 \(\ln L(\theta)\) 的最值。

如果总体服从区间 \([0, \theta]\) 的均匀分布，\((X_1, X_2, \cdots, X_n)\) 是取自总体的样本，\((x_1, x_2, \cdots, x_n)\) 是样本值。\(L(\theta)\) 为单调递减的函数，那么 \(\theta\) 会在区间左端点处取得最大值，此时 \(\theta\) 的最大似然估计值为

\[\hat{\theta} = \max \{ x_1, x_2, \cdots, x_n \} \]

而称 \(\theta\) 的最大似然估计值

\[X^*_n = \hat{\theta} = \max \{ X_1, X_2, \cdots, X_n \} \]

为最大顺序统计量。

3.2 估计量优良性评选准则

3.2.1 无偏性

如果参数 \(\theta\) 的估计量 \(\hat{\theta}\) 满足

\[E(\hat{\theta}) = \theta \]

则称 \(\hat{\theta}\) 为 \(\theta\) 的无偏估计量，称 \(\hat{\theta}\) 的这种性质为无偏性。

下面来证明 \(\bar{X}\) 和 \(S^2\) 均为总体的无偏估计量：

\[E(\bar{X}) = \dfrac{1}{n} \sum_{i = 1}^{n} E(X_i) = \mu \\ \begin{aligned} E(S^2) &= E \bigg(\dfrac{1}{n - 1} \sum_{i = 1}^n (X_i - \bar{X})^2 \bigg) \\ &= \dfrac{1}{n - 1} E \bigg( \sum_{i = 1}^n X_i^2 - n \bar{X}^2 \bigg) \\ &= \dfrac{1}{n - 1} \bigg( \sum_{i = 1}^n E(X_i^2) - n E(\bar{X}^2) \bigg) \\ &= \dfrac{1}{n - 1} \bigg( \sum_{i = 1}^n D(X_i) + [E(X_i)]^2 - n(D(\bar{X}) + [E(\bar{X})]^2) \bigg) \\ &= \sigma^2 \end{aligned} \]

3.2.2 有效性

设参数 \(\hat \theta_1 = \hat \theta_1(X_1, X_2, \cdots, X_n)\) 和 \(\hat \theta_2 = \hat \theta_2(X_1, X_2, \cdots, X_n)\) 是未知参数 \(\theta\) 的两个无偏估计量，如果其方差都存在，且

\[D(\hat \theta_1) < D(\hat \theta_2) \]

那么称 \(\hat \theta_1\) 比 \(\hat \theta_2\) 有效，估计量的这种性质称为有效性。

3.2.3 一致性

设 \(\hat \theta_n = \hat \theta_n(X_1, X_2, \cdots, X_n)\) 的估计量，若 \(\hat \theta_n\) 依概率收敛于 \(\theta\)，即对任意的 \(\epsilon > 0\)，有

\[\lim_{n \rightarrow + \infty} P\{ \left\vert \hat \theta_n - \theta \right\vert \geq \epsilon \} = 0 \]

则称 \(\hat \theta_n\) 为 \(\theta\) 的一致估计量。估计量的这种性质称为一致性。