【数理统计】参数估计

目录

• 点估计
  • 矩估计法
  • 最大似然估计法
• 区间估计
  • 单个正态总体参数的区间估计
    • 均值 $\mu$ 的区间估计
    • 方差 $\sigma^2$ 的区间估计
  • 两个正态总体参数的区间估计（略）
  • 补充：单侧置信区间

点估计

矩估计法

【定义】设 $X$ 是随机变量，若 $E(X^k) (k=1,2,...)$ 存在，则称其为 $X$ 的 $k$ 阶矩。

【方法】设待估计的参数 $\theta_1,\theta_2,... ,\theta_n$，设

$$\begin{cases} \mu_1 = \mu_1 (\theta_1,\theta_2,... ,\theta_n) = E(X^1) \\ \mu_2 = \mu_2 (\theta_1,\theta_2,... ,\theta_n) = E(X^2) \\ ... \\ \mu_n = \mu_n (\theta_1,\theta_2,... ,\theta_n) = E(X^n) \end{cases}$$

这是关于 $\theta_i$ 的方程组，解该方程组可得

$$\begin{cases} \theta_1 = \theta_1 (\mu_1,\mu_2,... ,\mu_n) \\ \theta_2 = \theta_2 (\mu_1,\mu_2,... ,\mu_n) \\ ... \\ \theta_n = \theta_n (\mu_1,\mu_2,... ,\mu_n) \end{cases}$$

以 $A_l = \frac{1}{n} \sum_{i=1}^n X_i^l$ 代替上式中的 $\mu_l(l=1,2,...,n)$ 即可得到矩估计量。

注意：

• $A_1 = \frac{1}{n} \sum_{i=1}^n X_i = \bar{X}$
• $A_2 = \frac{1}{n} \sum_{i=1}^n X_i^2$
• $A_2 - A_1^2 = D(X)$

【举例】

• 当 $n=1$ 时，即待估计参数有一个，令 $\mu_1 = E(X)$，然后解出 $\theta_1$，最后用 $A_1$ 代替 $\mu_1$ 即可。
• 当 $n=2$ 时，即待估计参数有两个，令

$$\begin{cases} \mu_1 = E(X) \\ \mu_2 = E(X^2) = D(X) + [E(X)]^2 \end{cases}$$

然后解出 $\theta_1, \theta_2$，最后用 $A_1, A_2$ 代替 $\mu_1, \mu_2$ 即可。

最大似然估计法

【定义】若总体 $X$ 的概率密度函数为 $f(x;\theta)$，其中 $\theta \in \Theta$ 为参数向量（$\Theta$ 为参数 $\theta$ 可能取值的范围），$X_1,X_2,...,X_n$ 为来自 $X$ 的一个样本，则联合概率密度函数记为

$$L(x_1,x_2,...,x_n; \theta) = \prod_{i=1}^{n} f(x_i; \theta)$$

称为参数 $\theta$ 的似然函数。

【思想】求参数 $\theta$ 的估计值，使得似然函数取得最大值。

【方法】求极大似然估计的一般步骤如下：

• 写出似然函数：

$$L(x_1,x_2,...,x_n; \theta) = \prod_{i=1}^{n} f(x_i; \theta_1, \theta_2,..., \theta_m)$$

• 对似然函数取对数：

$$\ln L = \sum_{i=1}^{n} \ln f(x_i; \theta_1, \theta_2,..., \theta_m)$$

• 对 $\theta_j (j=1,2,...,m)$ 分别求偏导，建立似然方程组：

$$\frac{\partial \ln L}{\partial \theta_j} = 0 \ \ (j=1,2,...,m)$$

• 解得 $\hat{\theta_j}$ 为 $\theta_j$ 的极大似然估计量（不是估计量！）

区间估计

【定义】设总体的未知参数为 $\theta$，由样本 $X_1,X_2,...,X_n$ 确定两个统计量

$$\hat{\theta_1} = \hat{\theta_1} (X_1,X_2,...,X_n), \hat{\theta_2} = \hat{\theta_2} (X_1,X_2,...,X_n)$$

对于给定的实数 $\alpha(o<\alpha<1)$，满足

$$P\{ \hat{\theta_1} < \theta < \hat{\theta_2} \} \geq 1-\alpha$$

则称随机区间 $(\hat{\theta_1}, \hat{\theta_2})$ 是 $\theta$ 的置信水平为 $1-\alpha$ 的置信区间，$1-\alpha$ 为置信水平，$\alpha$ 为显著性水平，通常取值 0.1 或 0.05。

【枢轴量法】

• 选取待估参数 $\theta$ 的估计量：遵从估计量的优良性准则，如 $\bar{X} \rightarrow \mu$，$S^2 \rightarrow \sigma^2$
• 建立枢轴量：$W = W(X_1,X_2,...,X_n; \theta)$，使得 $W$ 不依赖于 $\theta$ 及其他未知参数
• 确定 $W$ 的分布，通常选取经典分布
• 根据 $W$ 的分布，建立概率等式：

$$P\{ W_{1-\alpha/2} < W < W_{\alpha/2} \} = 1-\alpha$$

• 将上式等价变形为：

$$P\{ a < \theta < b \} = 1-\alpha$$

$(a,b)$ 即为 $\theta$ 的一个置信水平为 $1-\alpha$ 的置信区间。

单个正态总体参数的区间估计

均值 $\mu$ 的区间估计

（1）$\sigma^2$ 已知

根据中心极限定理，选取枢轴量

$$\frac{\bar{X} - \mu}{\sigma/\sqrt{n}} \sim N(0,1)$$

注意右边的枢轴量（即标准正态分布）并不依赖于任何未知参数，因此有

$$P\left\{ -u_{\alpha/2} < \frac{\bar{X} - \mu}{\sigma/\sqrt{n}} < u_{\alpha/2} \right\} = 1-\alpha$$

注：对于标准正态分布，有 $u_{\alpha} = -u_{1-\alpha}$

等价变形为

$$P\left\{ \bar{X} - \frac{\sigma}{\sqrt{n}} u_{\alpha/2} < \mu < \bar{X} + \frac{\sigma}{\sqrt{n}} u_{\alpha/2} \right\} = 1-\alpha$$

因此 $\mu$ 的一个置信水平为 $1-\alpha$ 的置信区间为

$$\left(\bar{X} - \frac{\sigma}{\sqrt{n}} u_{\alpha/2}, \bar{X} + \frac{\sigma}{\sqrt{n}} u_{\alpha/2} \right)$$

注：有些教科书上用的不是 $u$，而是 $z$，其实两者表示的意思是一样的。

（2）$\sigma^2$ 未知

考虑 $S^2$ 为 $\sigma^2$ 的无偏估计，根据抽样分布定理，应选取枢轴量

$$\frac{\bar{X} - \mu}{S/\sqrt{n}} \sim t(n-1)$$

注意右边的枢轴量（即自由度为 $n-1$ 的 $t$ 分布）并不依赖于任何未知参数，因此有

$$P\left\{ -t_{\alpha/2}(n-1) < \frac{\bar{X} - \mu}{S/\sqrt{n}} < t_{\alpha/2}(n-1) \right\} = 1-\alpha$$

注：对于自由度为 $n$ 的 $t$ 分布，有 $t_{\alpha}(n) = -t_{1-\alpha}(n)$

等价变形为

$$P\left\{ \bar{X} - \frac{S}{\sqrt{n}} t_{\alpha/2}(n-1) < \mu < \bar{X} + \frac{S}{\sqrt{n}} t_{\alpha/2}(n-1) \right\} = 1-\alpha$$

因此 $\mu$ 的一个置信水平为 $1-\alpha$ 的置信区间为

$$\left(\bar{X} - \frac{S}{\sqrt{n}} t_{\alpha/2}(n-1), \bar{X} + \frac{S}{\sqrt{n}} t_{\alpha/2}(n-1) \right)$$

方差 $\sigma^2$ 的区间估计

（1）$\mu$ 已知

由抽样分布定理，应选取枢轴量

$$\chi^2 = \frac{1}{\sigma^2} \sum_{i=1}^n (X_i - \mu)^2 \sim \chi^2(n)$$

注意右边的枢轴量（即自由度为 $n$ 的 $\chi$ 分布）并不依赖于任何未知参数，因此有

$$P\left\{ \chi_{1-\alpha/2}^2(n) < \frac{1}{\sigma^2} \sum_{i=1}^n (X_i - \mu)^2 < \chi_{\alpha/2}^2(n) \right\} = 1-\alpha$$

等价变形为

$$P\left\{ \frac{\sum_{i=1}^n (X_i - \mu)^2}{\chi_{\alpha/2}^2(n)} < \sigma^2 < \frac{\sum_{i=1}^n (X_i - \mu)^2}{\chi_{1-\alpha/2}^2(n)} \right\} = 1-\alpha$$

因此 $\sigma^2$ 的一个置信水平为 $1-\alpha$ 的置信区间为

$$\left(\frac{\sum_{i=1}^n (X_i - \mu)^2}{\chi_{\alpha/2}^2(n)}, \frac{\sum_{i=1}^n (X_i - \mu)^2}{\chi_{1-\alpha/2}^2(n)} \right)$$

（2）$\mu$ 未知

考虑 $S^2$ 为 $\sigma^2$ 的无偏估计，由抽样分布定理，应选取枢轴量

$$\chi^2 = \frac{n-1}{\sigma^2} S^2 \sim \chi^2(n-1)$$

注意右边的枢轴量（即自由度为 $n-1$ 的 $\chi$ 分布）并不依赖于任何未知参数，因此有

$$P\left\{ \chi_{1-\alpha/2}^2(n-1) < \frac{n-1}{\sigma^2} S^2 < \chi_{\alpha/2}^2(n-1) \right\} = 1-\alpha$$

等价变形为

$$P\left\{ \frac{(n-1)S^2}{\chi_{\alpha/2}^2(n)} < \sigma^2 < \frac{(n-1)S^2}{\chi_{1-\alpha/2}^2(n)} \right\} = 1-\alpha$$

因此 $\sigma^2$ 的一个置信水平为 $1-\alpha$ 的置信区间为

$$\left(\frac{(n-1)S^2}{\chi_{\alpha/2}^2(n)}, \frac{(n-1)S^2}{\chi_{1-\alpha/2}^2(n)} \right)$$

两个正态总体参数的区间估计（略）

（略）

补充：单侧置信区间

【定义 1】设总体的未知参数为 $\theta$，由样本 $X_1,X_2,...,X_n$ 确定的统计量

$$\hat{\theta} = \hat{\theta} (X_1,X_2,...,X_n)$$

对于给定的实数 $\alpha(o<\alpha<1)$，满足

$$P\{ \theta > \hat{\theta} \} \geq 1-\alpha, \forall \theta \in \Theta$$

则称随机区间 $(\hat{\theta}, +\infty)$ 是 $\theta$ 的置信水平为 $1-\alpha$ 的单侧置信区间，$\hat{\theta}$ 称为 $\theta$ 的置信水平为 $1-\alpha$ 的单侧置信下限。

【定义 2】设总体的未知参数为 $\theta$，由样本 $X_1,X_2,...,X_n$ 确定的统计量

$$\hat{\theta} = \hat{\theta} (X_1,X_2,...,X_n)$$

对于给定的实数 $\alpha(o<\alpha<1)$，满足

$$P\{ \theta < \hat{\theta} \} \geq 1-\alpha, \forall \theta \in \Theta$$

则称随机区间 $(-\infty, \hat{\theta})$ 是 $\theta$ 的置信水平为 $1-\alpha$ 的单侧置信区间，$\hat{\theta}$ 称为 $\theta$ 的置信水平为 $1-\alpha$ 的单侧置信上限。

【举例】对于正态总体 $X$，若均值 $\mu$、方差 $\sigma^2$ 均未知，设 $X_1,...,X_n$ 是一个样本，由

$$\frac{\bar{X} - \mu}{S/\sqrt{n}} \sim t(n-1)$$

得

$$P\left\{ \frac{\bar{X} - \mu}{S/\sqrt{n}} < t_{\alpha}(n-1) \right\} = 1-\alpha$$

等价变形为

$$P\left\{ \mu > \bar{X} - \frac{S}{\sqrt{n}} t_{\alpha}(n-1) \right\} = 1-\alpha$$

因此 $\mu$ 的一个置信水平为 $1-\alpha$ 的单侧置信区间为

$$\left(\bar{X} - \frac{S}{\sqrt{n}} t_{\alpha}(n-1), +\infty \right)$$

【总结】在形式上，只需将置信区间的上下限中的 $\alpha/2$ 改成 $\alpha$，就能得到相应的单侧置信上下限了。