学习笔记 - 概率统计 - 参数估计，假设检验

参数估计

参数估计分为点估计和区间估计

在抽取样本，获取样本的观测值之后，通过构造样本的函数（统计量），给出它们的估计值或取值区间

参数的点估计

点估计

设总体的分布函数 \(F(x, \theta)\) ，\(\theta\) 为待估参数，\(X_1, X_2, \cdots, X_n\) 为一组样本

点估计要构造 \(\hat\theta(X_1,X_2,\cdots,X_n)\) , 用其观测值作为 \(\theta\) 的近似值

矩估计

原理：\(A_k=\cfrac{1}{n}\sum\limits_{i=1}^nX_i^k\to\mu_k\)

其实就是点估计 * n，利用 \(X\) 的前 \(k\) 阶矩构造等式

得到 \(\hat\theta_i=\theta_i(A_1,A_2,\cdots,A_k),i=1,2,\cdots,k\)，称为矩估计量

常用的矩估计

• 正态分布

  • \(\hat\mu=A_1=\overline X\)
  • \(\hat\sigma^2=\cfrac{1}{n-1}\sum\limits_{i=1}^n(X_i-\overline{X})^2=S^2\)

• Poisson 分布 \(P(\lambda)\) ：\(\hat\lambda=A_1=\overline{X}\)

• 指数分布 \(E(\lambda)\) ：\(\hat\lambda=A_1=\cfrac{1}{\overline{X}}\)

• 二项分布 \(B(n,p)\) ：\(\hat p=A_1=\cfrac{\overline{X}}{n}\)

极大似然估计

原理：一次试验就出现的事件有较大的概率

似然函数：\(L(\theta)=L(x_1,x_2,\cdots,x_n;\theta)=\prod\limits_{i=1}^nf(x_i;\theta)\)

极大似然估计：\(L(\theta)\) 的极大值点

求法：

• 构造似然函数 \(L(\theta)\)
• 取对数 \(\ln L(\theta)\)
• 解 \(\cfrac{d \ln L(\theta)}{d\theta}=0\)，得到 \(\hat\theta\)

常用的极大似然估计

除了正态分布的\(\hat\sigma^2=\cfrac{1}{n}\sum\limits_{i=1}^n(X_i-\overline{X})^2\)外，其余与矩估计相同

点估计的优良性

• 无偏性
• 有效性
• 一致性

无偏估计

若 \(E(\hat\theta)=\theta\)，则 \(\hat\theta\) 是 \(\theta\) 的无偏估计量。意义：没有系统误差

• \(k\) 阶总体矩是 \(\mu_k\) 的无偏估计量
• 样本均值和样本方差是总体均值和总体方差的无偏估计量

一个未知参数可以有多个不同的无偏估计量

有效性

在所有无偏估计量中， \(D(\hat\theta)\) 最小的称为 最小方差无偏估计量

方差越小，越有效 \(\to\) 有效性考察偏离程度

一致估计

\(\hat\theta\) 依概率收敛于 \(\theta\)，仅在样本足够大的时候才能体现优越性

区间估计

和点估计类似，不过需要给出两个统计量 \(\theta_1,\theta_2\)组成置信区间

\(\theta\) 落在 \((\theta_1,\theta_2)\) 的概率为 \(1-\alpha\) ， \(1-\alpha\) 称为置信度

单侧置信区间

有些实际问题只关心上限或者下限

只要求出 \([\theta_1, +\infty)\) 或者 \((-\infty,\theta_2]\)，即可。对应的置信度分别称为单侧置信下限和单侧置信上限

正态总体均值和方差的区间估计

方差 \(DX\) 已知， \(EX\) 的区间估计：\(\left[\overline{X}-\frac{\sigma}{\sqrt{n}}z_{1-\frac{\alpha}{2}},\overline{X}+\frac{\sigma}{\sqrt{n}}z_{1-\frac{\alpha}{2}}\right]\) （不唯一）

方差 \(DX\) 未知， \(EX\) 的区间估计：\(\left[\overline{X}-\frac{S}{\sqrt{n}}t_{1-\frac{\alpha}{2}}(n-1),\overline{X}+\frac{S}{\sqrt{n}}t_{1-\frac{\alpha}{2}}(n-1)\right]\)

方差 \(DX\) 的区间估计：\(\left[\cfrac{(n-1)S^2}{\chi^2_{1-\frac{\alpha}{2}}(n-1)},\cfrac{(n-1)S^2}{\chi^2_{\frac{\alpha}{2}}(n-1)}\right]\)

两个正态总体的区间估计

两个样本：\(\overline{X}, \overline{Y},S_1^2,S_2^2\)

若方差已知，则 \(\mu_1-\mu_2\) 的区间估计：\(\left(\overline{X}-\overline{Y}\pm z_{1-\frac{\alpha}{2}}\sqrt{\cfrac{\sigma_1^2}{m}+\cfrac{\sigma^2_2}{n}}\right)\)

若方差未知，则 \(\mu_1-\mu_2\) 的区间估计：\(\left(\overline{X}-\overline{Y}\pm t_{1-\frac{\alpha}{2}}(m+n-2)S_{\omega}\sqrt{\cfrac{1}{m} + \cfrac{1}{n}}\right)\) ，其中 \(S_\omega^2=\cfrac{(m-1)S_1^2+(n-1)S_2^2}{m + n - 2}\)

两个总体方差比的置信区间，（\(\mu_1,\mu_2\) 未知）：\(\cfrac{S_1^2/S_2^2}{\sigma_1^2/\sigma_2^2}\sim F(m-1,n-1)\)

假设检验

对一个或多个总体的概率分布或参数做出判断。

然后抽取样本，按一定的原则进行检验，然后做出接受或拒绝所作假设的决定

理论依据：小概率事件在一次实验中实际上时不可能发生的

基本思想和步骤

步骤

1. 提出原假设\(H_0\)
2. 建立样本函数 \(W(\xi_1,\xi_2,\cdots,\xi_n)\)，选取检验水平 \(\alpha\)
3. 进行试验，判断小概率事件是否发生

两类错误

• 假设正确，却判定为错误
• 假设错误，却判定为正确

（样本的随机性使得在统计假设中有两种可能的错误）

均值 - 假设检验

设总体 \(X\sim N(\mu, \sigma^2)\)， \(x_1, x_2,\cdots, x_n\) 为 \(X\) 的假设样本

方差 \(\sigma^2\) 已知， \(H_0:\mu=\mu_0,H_1:\mu\not=\mu_0\)

1. 提出假设：\(H_0:\mu=\mu_0\)
2. 选择统计量：\(U=\cfrac{\overline{x}-\mu_0}{\sigma/\sqrt{n}}\)
3. 确定检验水平和 \(\alpha\)，确定拒绝域 \((-\infty,-z_{1-\frac{\alpha}{2}}]\cup[z_{1-\frac{\alpha}{2},+\infty})\)
4. 根据样本计算试验值，决定是否接受

方差 \(\sigma^2\) 已知， \(H_0:\mu=\mu_0,H_1:\mu<\mu_0\)

只有当已经确定，样本的观察值 \(\overline{x}<\mu_0\) 时才会有此假设

• 判断 \(U < -z_{1-\alpha}\)
• 若满足，则拒绝 \(H_0\) 接受 \(H_1\)，否则，接受原假设

方差 \(\sigma^2\) 已知， \(H_0:\mu=\mu_0,H_1:\mu>\mu_0\)

只有当已经确定，样本的观察值 \(\overline{x}<\mu_0\) 时才会有此假设

• 判断 \(U >z_{1-\alpha}\)
• 若满足，则拒绝 \(H_0\) 接受 \(H_1\)，否则，接受原假设

方差 \(\sigma^2\) 未知， \(H_0:\mu=\mu_0,H_1:\mu\not=\mu_0\)

1. 提出假设：\(H_0:\mu=\mu_0\)
2. 选择统计量：\(T=\cfrac{\overline{x}-\mu}{s/\sqrt{n}}\sim t(n-1)\)
3. 确定检验水平和 \(\alpha\)，确定拒绝域 \((-\infty,-z_{1-\frac{\alpha}{2}}]\cup[z_{1-\frac{\alpha}{2},+\infty})\)
4. 根据样本计算试验值，决定是否接受

方差 \(\sigma^2\) 未知， \(H_0:\mu=\mu_0,H_1:\mu<\mu_0\)

只有当已经确定，样本的观察值 \(\overline{x}<\mu_0\) 时才会有此假设

• 判断 \(T < -t_{1-\alpha}(n-1)\)
• 若满足，则拒绝 \(H_0\) 接受 \(H_1\)，否则，接受原假设

方差 \(\sigma^2\) 未知， \(H_0:\mu=\mu_0,H_1:\mu>\mu_0\)

只有当已经确定，样本的观察值 \(\overline{x}<\mu_0\) 时才会有此假设

• 判断 \(T >t_{1-\alpha}(n-1)\)
• 若满足，则拒绝 \(H_0\) 接受 \(H_1\)，否则，接受原假设

方差 - 假设检验

假设检验 \(H_0:\sigma^2=\sigma^2_0, H_1:\sigma^2\not=\sigma^2_0\)

• \(W=\cfrac{(n-1)s^2}{\sigma^2}\sim\chi^2(n-1)\)
• 拒绝域 \((-\infty,\chi^2_{1-\frac{\alpha}{2}}(n-1)]\cup[\chi^2_{\frac{\alpha}{2}},+\infty)\)
• 根据样本计算试验值，决定是否接受

假设检验 \(H_0:\sigma^2=\sigma^2_0, H_1:\sigma^2>\sigma^2_0\)

• \(W=\cfrac{(n-1)s^2}{\sigma^2}\sim\chi^2(n-1)\)
• 判断 \(W > \chi^2_{1-\alpha}(n-1)\)
• 若满足，则拒绝 \(H_0\) 接受 \(H_1\)，否则，接受原假设

假设检验 \(H_0:\sigma^2=\sigma^2_0, H_1:\sigma^2<\sigma^2_0\)

• \(W=\cfrac{(n-1)s^2}{\sigma^2}\sim\chi^2(n-1)\)
• 判断 \(W < \chi^2_{\alpha}(n-1)\)
• 若满足，则拒绝 \(H_0\) 接受 \(H_1\)，否则，接受原假设