概率笔记 P07：参数估计

1 点估计

设总体\(X\)的分布函数为\(F(x;\theta)\)，\(\theta\)是待估参数，\(X_1, X_2, \cdots, X_n\)是总体\(X\)的一个样本，构造一个适当的统计量\(\hat{\theta}(X_1, X_2, \cdots, X_n)\)来估计\(\theta\)的问题称为参数的点估计问题。统计量\(\hat{\theta}(X_1, X_2, \cdots, X_n)\)称为\(\theta\)的估计量。

构造估计量的方法

• 矩估计法：用样本矩估计相应的总体矩，用样本矩的函数估计总体矩相应的函数。
  • 设\(X\)为连续型随机变量，其概率密度为\(f(x;\theta_1, \theta_2, \cdots, \theta_k)\)，其中\(\theta_1, \theta_2, \cdots, \theta_k\)为待估参数，共\(k\)个，\(X_1, X_2, \cdots, X_n\)为来自\(X\)的样本。
    假设总体\(X\)的前\(k\)阶矩为\(\mu_l = E(X^l) = \displaystyle \int_{-\infty}^{+\infty} x^l f(x; \theta_1, \theta_2, \cdots, \theta_k) dx, l = 1, 2, \cdots, k\)。对应的样本矩为\(A_l = \cfrac 1n \displaystyle \sum_{i=1}^n X_i^l, l = 1, 2, \cdots, k\)。样本矩依概率收敛于总体矩，\(\mu_l = A_l, l = 1, 2, \cdots, k\)，因此得到\(k\)个方程（由于有\(k\)个待估参数）组成的方程组，解得\(k\)个待估参数。（\(\mu_l\)根据随机变量的形式获得，\(A_l\)根据样本值获得。）
  • 设\(X\)为离散型随机变量，其分布律为\(p(x; \theta_1, \theta_2, \cdots, \theta_k)\)，其中\(\theta_1, \theta_2, \cdots, \theta_k\)为待估参数，共\(k\)个，\(X_1, X_2, \cdots, X_n\)为来自\(X\)的样本。
    假设总体\(X\)的前\(k\)阶矩为\(\mu_l = E(X^l) = \displaystyle \sum_{x \in R_X} x^l p(x; \theta_1, \theta_2, \cdots, \theta_k), l = 1, 2, \cdots, k\)。对应的样本矩为\(A_l = \cfrac 1n \displaystyle \sum_{i=1}^n X_i^l, l = 1, 2, \cdots, k\)。样本矩依概率收敛于总体矩，\(\mu_l = A_l, l = 1, 2, \cdots, k\)，因此得到\(k\)个方程（由于又\(k\)个待估参数）组成的方程组，解得\(k\)个待估参数。（\(\mu_l\)根据随机变量的形式获得，\(A_l\)根据样本值获得。）
• 最大似然估计：
  • 设总体\(X\)是离散型随机变量，其分布律为\(p(x; \theta), \theta \in \varTheta\)，\(\varTheta\)的形式已经给出，\(\theta\)为待估参数。\(X_1, X_2, \cdots, X_n\)为来自\(X\)的样本。
    又设\(x_1, x_2, \cdots, x_n\)是相应于样本\(X_1, X_2, \cdots, X_n\)的一个样本值，取得这一样本值的概率为\(L(\theta) = L(x_1, x_2, \cdots, x_n; \theta) = \displaystyle \prod_{i=1}^n p(x_i; \theta)\)。\(L(\theta)\)称为样本的似然函数。
    根据似然函数和\(\theta\)的取值范围挑选似然函数最大的参数取值\(\hat{\theta}\)，称为参数\(\theta\)的最大似然估计值。
  • 设总体\(X\)是连续型随机变量，其概率密度为\(f(x; \theta), \theta \in \varTheta\)，\(\varTheta\)的形式已经给出，\(\theta\)为待估参数。\(X_1, X_2, \cdots, X_n\)为来自\(X\)的样本。
    又设\(x_1, x_2, \cdots, x_n\)是相应于样本\(X_1, X_2, \cdots, X_n\)的一个样本值，取得这一样本值的概率为\(L(\theta) = L(x_1, x_2, \cdots, x_n; \theta) = \displaystyle \prod_{i=1}^n f(x_i; \theta)\)。\(L(\theta)\)称为样本的似然函数。
    根据似然函数和\(\theta\)的取值范围挑选似然函数最大的参数取值\(\hat{\theta}\)，称为参数\(\theta\)的最大似然估计值。
  • 若\(L(\theta)\)或者\(\ln L(\theta)\)关于\(\theta\)可微，值\(\hat{\theta}\)可以从方程\(\cfrac {dL(\theta)}{d\theta} = 0\)或者\(\cfrac {d\ln L(\theta)}{d\theta} = 0\)来求得。（求极值）
    若要估计的参数有两个， 可以根据偏导数等于零求得。

估计量的评选标准

• 无偏性/无偏估计量 \(E(\hat{\theta}) = \theta\)，参数的估计量就是参数的实际值。
• 有效性/更有效的估计量 \(D(\hat{\theta}_1) \le D(\hat{\theta}_2)\)，称估计量\(\hat{\theta}_1\)比\(\hat{\theta}_2\)更有效。
• 相合性/一致估计量 对于任意\(\varepsilon \lt 0\)，有\(\displaystyle \lim_{n \to \infty} P \{ |\hat{\theta} - \theta| \lt \varepsilon \} = 1\)。（使用大数定律来证明）

2 区间估计

置信区间

设\(\theta\)是总体\(X\)的未知参数，\(X_1, X_2, \cdots, X_n\)是来自总体\(X\)的样本，如果两个统计量\(\theta_1 = \theta_1(X_1, X_2, \cdots, X_n), \theta_2 = \theta_2(X_1, X_2, \cdots, \theta_n)\)满足

\[P \{ \theta_1 \lt \theta \lt \theta_2 \} = 1 - \alpha \]

则称随机区间\((\theta_1, \theta_2)\)为参数\(\theta\)的置信水平为\(1-\alpha\)的置信区间（或区间估计），\(\theta_1, \theta_2\)分别称为置信下限和置信上限。

另外还有单侧置信限，使用同样的方法计算。

正态总体的区间估计

其枢轴量分布的构造见上一节正态总体的抽样分布。

• 一个总体的参数的区间估计。设总体\(X \sim N(\mu, \sigma^2)\)，\(X_1, X_2, \cdots, X_n\)是来自总体\(X\)的样本，\(\overline{X}, S^2\)分别是样本均值和样本方差。
  \[\begin{array}{c|c} \hline \\ \text{unknown parameter} & 1-\alpha \text{ confidence interval} \\ \hline \\ \mu \ (\sigma^2 \text{ known} ) & \left( \overline{X} - u_{\frac \alpha 2} \cfrac {\sigma}{\sqrt{n}}, \overline{X} + u_{\frac \alpha 2} \cfrac {\sigma}{\sqrt{n}} \right) \\ \hline \\ \mu \ (\sigma^2 \text{ unknown}) & \left( \overline{X} - t_{\frac \alpha 2} (n-1) \cfrac S{\sqrt{n}}, \overline{X} + t_{\frac \alpha 2} (n-1) \cfrac S{\sqrt{n}} \right) \\ \hline \\ \sigma^2 & \left( \cfrac {(n-1) S^2}{\chi_{\frac {\alpha}{2}}^2 (n-1)}, \cfrac {(n-1) S^2}{\chi_{1-\frac {\alpha}{2}}^2 (n-1)} \right) \\ \hline \end{array} \]

• 两个总体的参数的区间估计。设总体\(X \sim N(\mu_1, \sigma_1^2)\)和总体\(Y \sim N(\mu_2, \sigma_2^2)\)，\(X_1, X_2, \cdots, X_n\)和\(Y_1, Y_2, \cdots, Y_n\)是分别来自总体\(X\)和总体\(Y\)的样本，\(\overline{X}, \overline{Y}, S_1^2, S_2^2\)分别是样本均值和样本方差。
  \[S_\omega^2 = \cfrac {(n_1 - 1)S_1^2 + (n_2 - 1)S_2^2}{n_1 + n_2 - 2} \]
  \[\begin{array}{c|c} \hline \\ \text{unknown parameter} & 1-\alpha \text{ confidence interval} \\ \hline \\ \mu_1 - \mu_2 \ (\sigma_1^2, \sigma_2^2 \text{ known}) & \left( \overline{X} - \overline{Y} - u_{\frac {\alpha}2} \sqrt{\cfrac {\sigma_1^2}{n_1} + \cfrac {\sigma_2^2}{n_2}}, \overline{X} - \overline{Y} + u_{\frac {\alpha}2} \sqrt{\cfrac {\sigma_1^2}{n_1} + \cfrac {\sigma_2^2}{n_2}} \right) \\ \hline \\ {\mu_1 - \mu_2 \\ (\sigma_1^2, \sigma_2^2 \text{ unknown}，\text{but } \sigma_1^2 = \sigma_2^2)} & \left( \overline{X} - \overline{Y} - t_{\frac \alpha 2} (n_1 + n_2 - 2) S_\omega \sqrt{\cfrac 1{n_1} + \cfrac 1{n_2}}, \\ \overline{X} - \overline{Y} + t_{\frac \alpha 2} (n_1 + n_2 - 2) S_\omega \sqrt{\cfrac 1{n_1} + \cfrac 1{n_2}} \right) \\ \hline \\ \cfrac {\sigma_1^2}{\sigma_2^2} & \left( \cfrac {S_1^2}{S_2^2} \cdot \cfrac 1{F_{\frac \alpha 2}(n_1 - 1, n_2 - 2)}, \cfrac {S_1^2}{S_2^2} \cdot F_{\frac \alpha 2}(n_1 - 1, n_2 - 2) \right) \\ \hline \end{array} \]