BUAA_概率统计_Chap08_参数估计

第八章 参数估计

8.1 参数的点估计

8.1.1 矩估计法

用样本矩估计相应的总体（随机变量）矩。

只要总体的 \(k\) 阶矩存在，样本 \(k\) 阶矩依概率收敛于相应的总体 \(k\) 阶矩。

具体过程

设总体 \(X\) 的分布函数为 \(F(x;\theta_1,\theta_2,...,\theta_m)\)，未知参数为 \(\theta_1,\theta_2,...,\theta_m\).

1. 求出总体矩：\(\mu_k=EX^k=\mu_k(\theta_1,\theta_2,...,\theta_m), k=1,2,...,m\) 或 \(\beta_k=E(X-EX)^k=\beta_k(\theta_1,\theta_2,...,\theta_m),k=1,2,...m\)；

2. 对总体进行随机抽样，设 \(X_1,X_2,...,X_n\) 为来自于总体 \(X\) 的样本，\(x_1,x_2,...,x_n\) 为样本值；

3. 构造样本矩：\(A_k=\dfrac{1}{n}\sum\limits_{i=1}^nX_i^k,\space B_k=\dfrac{1}{n}\sum\limits_{i=1}^n(X_i-\overline{x})^k,\space S^2=\dfrac{1}{n-1}\sum\limits_{i=1}^n(X_i-\overline{x})^2\)；

4. 由于：\(A_k=\dfrac{1}{n}\sum\limits_{i=1}^nX_i^k\stackrel{P}\longrightarrow EX^k=\mu_k(n\to +\infty),\space B_k=\dfrac{1}{n}\sum\limits_{i=1}^n(X_i-\overline{x})^k\stackrel{P}\longrightarrow E(X-EX)^k=\beta_k(n\to +\infty)\)；

5. 联立并解方程组求出 \(\theta_1,\theta_2,...,\theta_m\).

8.1.2 极大似然估计法

基本思想

根据样本的具体情况，选择总体参数的估计，使得该样本发生的概率最大。

定义1

若 \(X\) 是离散型随机变量，分布律 \(P\{X=x\}=p(x;\theta)\) 形式已知，参数 \(\theta\) 未知，\(x_1,x_2,...,x_n\) 为样本 \(X_1,X_2,...,X_n\) 的样本观察值。

\(X_1,X_2,...,X_n\) 取到 \(x_1,x_2,...,x_n\) 的概率：

\[P\{X_1=x_1,X_2=x_2,...,X_n=x_n\}=\prod\limits^n_{i=1}P\{X_i=x_i\}=\prod\limits^n_{i=1}p(x_i;\theta) \]

选取总体参数 \(\theta\) 的估计值 \(\hat{\theta}\)，使得此概率达到最大，即 \(\prod\limits_{i=1}^np\{x_i;\theta\}\) 达到最大值。

\(L(\theta)=L(x_1,x_2,...,x_n;\theta)=\prod\limits_{i=1}^n p\{x_i;\theta\}\) 称为极大似然函数。

定义2

若 \(X\) 是连续型随机变量，概率密度函为 \(f(x;\theta)\)，其中 \(\theta\) 为未知参数，\((X_1,X_2,...,X_n)\) 落在点 \((x_1,x_2,...x_n)\) 邻域内的概率为 \(\prod\limits_{i=1}^nf(x_i;\theta)\prod\limits_{i=1}^n\Delta x_i\)

选取总体参数 \(\theta\) 的估计值 \(\hat{\theta}\)，使得此概率达到最大，即 \(\prod\limits_{i=1}^nf\{x_i;\theta\}\) 达到最大值。

\(L(\theta)=L(x_1,x_2,..x_n;\theta)=\prod\limits_{i=1}^n f\{x_i;\theta\}\) 称为极大似然函数。

定义3

如果似然函数 \(L(\theta)=L(x_1,x_2,...,x_n)\) 在 \(\theta=\hat{\theta}\) 时达到最大值，则称 \(\hat{\theta}\) 是函数 \(\theta\) 的极大似然估计值

要使 \(L(\theta)\) 达到最大值，\(\hat{\theta}\) 必须满足 \(\dfrac{d}{d\theta}L(\theta)=0\)

通常由 \(\dfrac{d}{d\theta}\ln L(\theta)=0\) 求得

8.2 点估计的优良性

8.2.1 无偏性

定义

设 \(\hat{\theta}(X_1,X_2,...,X_n)\) （简记为 \(\hat{\theta}\)）为未知参数 \(\theta\) 的估计量，若 \(E(\hat{\theta})=\theta\)（真值），则称 \(\hat{\theta}\) 为 \(\theta\) 的无偏估计。

8.2.2 最小方差无偏估计（有效性）

定义

设 \(\hat{\theta}\) 是 \(\theta\) 的一个无偏估计，若对于 \(\theta\) 的任一无偏估计 \(\hat{\theta}'\)，成立：

\[D(\hat{\theta})\leq D(\hat{\theta}') \]

则称 \(\hat{\theta}\) 是 \(\theta\) 的最小方差无偏估计。

若 \(\hat{\theta}_1\) 和 \(\hat{\theta}_2\) 都是无偏估计量，且 \(D(\hat{\theta}_1)<D(\hat{\theta}_2)\)，则称估计量 \(\hat{\theta}_1\) 较 \(\hat{\theta}_2\) 有效，或较佳，或较优。

8.2.3 一致估计（相合性）

定义

设 \(\hat{\theta}(X_1,X_2,...,X_n)\) 为未知参数 \(\theta\) 的估计量，若 \(\hat{\theta}\) 依概率收敛于 \(0\)，即对任意的 \(\epsilon>0,\lim\limits_{n\to +\infty}P\{|\hat{\theta}-\theta|<\epsilon\}=1\)，则称 \(\hat{\theta}\) 为 \(\theta\) 的一致性估计。

8.3 区间估计

8.3.1 置信区间

设总体分布含有一未知参数 \(\theta\)，又 \(X_1,X_2,...,X_n\) 为来自于总体的样本，若对给定的 \(\alpha\space(0<\alpha<1)\)，统计量 \(\theta_1(X_1,X_2,...,X_n)\) 和 \(\theta_2(X_1,X_2,...,X_n)\) 满足：

\[P\{\theta_1(X_1,X_2,...,X_n)\leq \theta\leq \theta_2(X_1,X_2,...,X_n)\}=1-\alpha \]

则称区间 \([\theta_1,\theta_2]\) 为 \(\theta\) 相应于置信度是 \(1-\alpha\) 的置信区间，简称置信区间。

\(\theta_1,\theta_2\) 分别称为置信下限和置信上限。

注

1. 统计量 \(\theta_1(X_1,X_2,...,X_n)\) 和 \(\theta_2(X_1,X_2,...X_n)\) 是随机变量，区间 \([\theta_1,\theta_2]\) 是置信区间。

对于 \(x_1,x_2,...,x_n\)，区间 \([\theta_1,\theta_2]\) 是普通区间。

2. \(\alpha\) 较小时，随机区间以较大的概率包含 \(\theta\)

3. 置信区间的长度意味着误差，因此越小越好

8.3.2 单侧置信限

若对于给定的 \(\alpha(0 < \alpha < 1)\)，统计量 \(\theta_1(X_1,X_2,...,X_n)\) 满足 \(P\{\theta\geq\theta_1(X_1,X_2,...,X_n)\}=1-\alpha\)，则称区间 \([\theta_1,+\infty)\) 为 \(\theta\) 相应于置信度是 \(1-\alpha\) 的单侧置信区间，称 \(\theta_1\) 为置信度为 \(1-\alpha\) 的单侧置信下限。

若对于给定的 \(\alpha(0<\alpha<1)\)，统计量 \(\theta_2(X_1,X_2,...,X_n)\) 满足 \(P\{\theta\leq\theta_2(X_1,X_2,...,X_n)\}=1-\alpha\)，则称区间 \((-\infty,\theta_2]\) 为 \(\theta\) 相应于置信度为 \(1-\alpha\) 的单侧置信区间，称 \(\theta_2\) 为置信度为 \(1-\alpha\) 的单侧置信上限。

8.4 正态分布均值和方差的区间估计

8.4.1 均值 \(EX=\mu\) 的区间估计

1.方差 \(DX=\sigma_0^2\) 已知，对 \(EX=\mu\) 进行区间估计

\[P\{\overline{X}-\delta\leq \mu \leq \overline{X}+\delta\}=1-\alpha \]

设总体 \(X\sim N(\mu,\sigma_0^2)\)，其中 \(\sigma_0^2\) 已知，又 \(X_1,X_2,...,X_n\) 为来自于总体的样本。

求出统计量 \(\mu_1(X_1,X_2,...,X_n),\mu_2(X_1,X_2,...,X_n)\) 使：

\[P\{\mu_1(X_1,X_2,...,X-n)\leq\mu\leq\mu_2(X_1,X_2,...,X_n)\}=1-\alpha \]

标准正态分布 \(N(0,1)\) 的 \(\alpha\) 分位点

定义

设 \(X\) 是一个标准正态随机变量，给定 \(\alpha(0<\alpha<1)\)，若存在唯一的 \(z_{\alpha}\)，使得：

\[P\{X\leq z_{\alpha}\}=\Phi(z_{\alpha})=\alpha \]

称 \(z_{\alpha}\) 为标准正态分布的 \(\alpha\) 分位点（或 \(\alpha\) 分位数），简称分位点。

分位点的性质：

\(\forall \alpha(0<\alpha<1)\) 有：

1. \(z_{1-\alpha}=-z_\alpha \quad P\{X>z_{\alpha}\}=1-\alpha\) 或 \(P\{X>-z_{1-\alpha}\}=1-\alpha\)
2. \(P\{X>z_{1-\alpha}\}=\alpha\) 或 \(P\{X<z_{1-\alpha}\}=1-\alpha\)
3. \(P\{|X|>z_{1-\frac{\alpha}{2}}\}\) 或 \(P\{|X|\leq z_{1-\frac{\alpha}{2}}\}=1-\alpha\)

\[U=\dfrac{\overline{X}-\mu}{\sigma_0/\sqrt{n}}\sim N(0,1) \]

对于给定的 \(\alpha\)，标准正态分布的双侧分位点 \(z_{1-\frac{\alpha}{2}}\)，使：

\[P\{|U|\leq z_{1-\frac{\alpha}{2}}\}=1-\alpha \]

即：

\[P\Big\{ \Big| \dfrac{\overline{X} - \mu}{\sigma_0 / \sqrt{n}}\leq z_{1-\frac{\alpha}{2}} \Big|\Big\}=1-\alpha\\ P\Big\{\overline{X} = z_{1-\frac{\alpha}{2}}\dfrac{\sigma_0}{\sqrt{n}} \leq \mu \leq \overline{X} + z_{1-\frac{\alpha}{2}}\dfrac{\sigma_0}{\sqrt{n}} \Big\} = 1 - \alpha \]

区间 \([\overline{X} - z_{1-\frac{\alpha}{2}}\dfrac{\sigma_0}{\sqrt{n}},\overline{X} + z_{1-\frac{\alpha}{2}}\dfrac{\sigma_0}{\sqrt{n}}]\) 为 \(\mu\) 的置信度为 \(1-\alpha\) 的置信区间

2.方差 \(DX\) 未知，对 \(EX=\mu\) 进行区间估计

设 \(X_1,X_2,...,X_n\) 为正态总体 \(N(\mu,\sigma^2)\) 的一个样本，由于 \(\sigma ^ 2\) 未知，用样本方差 \(S^2\) 来代替总体方差 \(\sigma^2\)

\[T=\dfrac{\overline{X} - \mu}{S/\sqrt{n}} \sim t(n - 1) \]

对给定的 \(\alpha\)，可得 \(t\) 分布的双侧 \(\alpha\) 分位点 \(t_{1-\frac{\alpha}{2}}(n - 1)\)，使得：

\[P\{ |T| \leq t_{1-\frac{\alpha}{2}(n-1)} \} = 1-\alpha\\ P\Big\{\overline{X} - t_{1-\frac{\alpha}{2}}(n-1)\dfrac{S}{\sqrt{n}} \leq \mu \leq\ \overline{X} + t_{1-\frac{\alpha}{2}}(n-1)\dfrac{S}{\sqrt{n}}\Big\}=1-\alpha \]

故均值 \(\mu\) 的置信区间：

\[\Big[ \overline{X} - t_{1-\frac{\alpha}{2}}\dfrac{S}{\sqrt{n}}, \overline{X} + t_{1-\frac{\alpha}{2}}(n-1)\dfrac{S}{\sqrt{n}}\Big] \]

8.4.2 方差 \(DX\) 的区间估计（总体均值未知）

设总体 \(X \sim N(\mu,\sigma^2),X_1,X_2,...,X_n\) 是总体的样本，令：

\[Y=\dfrac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1) \]

对给定的 \(\alpha(0<\alpha<1)\)，得 \(\chi^2\) 分布的临界值 \(\chi^2_{\frac{\alpha}{2}}(n-1)\) 及 \(\chi_{1-\frac{\alpha}{2}}(n-1)\)

\[P\Big\{\dfrac{(n-1)S^2}{\sigma^2}\leq\chi^2_{\frac{\alpha}{2}}(n-1) \Big\}=\dfrac{\alpha}{2}\\ P\Big\{\dfrac{(n-1)S^2}{\sigma^2}\leq\chi^2_{1-\frac{\alpha}{2}}(n-1)\Big\}=1 - \dfrac{\alpha}{2}\\ P\Big\{\dfrac{(n - 1)S^2}{\chi^2_{1-\frac{\alpha}{2}}(n-1)} \leq \sigma^2 \leq\dfrac{(n-1)S^2}{\chi^2_{\frac{\alpha}{2}}(n-1)} \Big\} = 1-\alpha \]

当总体 \(N(\mu,\sigma^2)\) 的参数 \(\mu\) 未知，方差 \(\sigma^2\) 的置信区间为：

\[\Big[\dfrac{(n-1)S^2}{\chi^2_{1-\frac{\alpha}{2}}(n-1)} ,\dfrac{(n-1)S^2}{\chi^2_{\frac{\alpha}{2}}(n-1)} \Big] \]

注1：

选取的临界值 \(\chi^2_{\frac{\alpha}{2}}(n-1),\chi^2_{1-\frac{\alpha}{2}}(n-1)\) 不是唯一的。

注2：

\(\sigma\) 的置信区间是 \(\Big[\sqrt{\dfrac{(n-1)S^2}{\chi^2_{1-\frac{\alpha}{2}}(n-1)}} ,\sqrt{\dfrac{(n-1)S^2}{\chi^2_{\frac{\alpha}{2}}(n-1)}}\Big]\)