点估计
矩估计法
【定义】设 \(X\) 是随机变量，若 \(E(X^k) (k=1,2,...)\) 存在，则称其为 \(X\) 的 \(k\) 阶矩。
【方法】设待估计的参数 \(\theta_1,\theta_2,... ,\theta_n\)，设
\[\begin{cases}
\mu_1 = \mu_1 (\theta_1,\theta_2,... ,\theta_n) = E(X^1) \\
\mu_2 = \mu_2 (\theta_1,\theta_2,... ,\theta_n) = E(X^2) \\
... \\
\mu_n = \mu_n (\theta_1,\theta_2,... ,\theta_n) = E(X^n)
\end{cases}
\]
这是关于 \(\theta_i\) 的方程组，解该方程组可得
\[\begin{cases}
\theta_1 = \theta_1 (\mu_1,\mu_2,... ,\mu_n) \\
\theta_2 = \theta_2 (\mu_1,\mu_2,... ,\mu_n) \\
... \\
\theta_n = \theta_n (\mu_1,\mu_2,... ,\mu_n)
\end{cases}
\]
以 \(A_l = \frac{1}{n} \sum_{i=1}^n X_i^l\) 代替上式中的 \(\mu_l(l=1,2,...,n)\) 即可得到矩估计量。
注意：
- \(A_1 = \frac{1}{n} \sum_{i=1}^n X_i = \bar{X}\)
- \(A_2 = \frac{1}{n} \sum_{i=1}^n X_i^2\)
- \(A_2 - A_1^2 = D(X)\)
【举例】
- 当 \(n=1\) 时，即待估计参数有一个，令 \(\mu_1 = E(X)\)，然后解出 \(\theta_1\)，最后用 \(A_1\) 代替 \(\mu_1\) 即可。
- 当 \(n=2\) 时，即待估计参数有两个，令
\[\begin{cases}
\mu_1 = E(X) \\
\mu_2 = E(X^2) = D(X) + [E(X)]^2
\end{cases}
\]
然后解出 \(\theta_1, \theta_2\)，最后用 \(A_1, A_2\) 代替 \(\mu_1, \mu_2\) 即可。
最大似然估计法
【定义】若总体 \(X\) 的概率密度函数为 \(f(x;\theta)\)，其中 \(\theta \in \Theta\) 为参数向量（\(\Theta\) 为参数 \(\theta\) 可能取值的范围），\(X_1,X_2,...,X_n\) 为来自 \(X\) 的一个样本，则联合概率密度函数记为
\[L(x_1,x_2,...,x_n; \theta) = \prod_{i=1}^{n} f(x_i; \theta)
\]
称为参数 \(\theta\) 的似然函数。
【思想】求参数 \(\theta\) 的估计值，使得似然函数取得最大值。
【方法】求极大似然估计的一般步骤如下：
\[L(x_1,x_2,...,x_n; \theta) = \prod_{i=1}^{n} f(x_i; \theta_1, \theta_2,..., \theta_m)
\]
\[\ln L = \sum_{i=1}^{n} \ln f(x_i; \theta_1, \theta_2,..., \theta_m)
\]
- 对 \(\theta_j (j=1,2,...,m)\) 分别求偏导，建立似然方程组：
\[\frac{\partial \ln L}{\partial \theta_j} = 0 \ \ (j=1,2,...,m)
\]
- 解得 \(\hat{\theta_j}\) 为 \(\theta_j\) 的极大似然估计量（不是估计量！）
区间估计
【定义】设总体的未知参数为 \(\theta\)，由样本 \(X_1,X_2,...,X_n\) 确定两个统计量
\[\hat{\theta_1} = \hat{\theta_1} (X_1,X_2,...,X_n), \hat{\theta_2} = \hat{\theta_2} (X_1,X_2,...,X_n)
\]
对于给定的实数 \(\alpha(o<\alpha<1)\)，满足
\[P\{ \hat{\theta_1} < \theta < \hat{\theta_2} \} \geq 1-\alpha
\]
则称随机区间 \((\hat{\theta_1}, \hat{\theta_2})\) 是 \(\theta\) 的置信水平为 \(1-\alpha\) 的置信区间，\(1-\alpha\) 为置信水平，\(\alpha\) 为显著性水平，通常取值 0.1 或 0.05。
【枢轴量法】
- 选取待估参数 \(\theta\) 的估计量：遵从估计量的优良性准则，如 \(\bar{X} \rightarrow \mu\)，\(S^2 \rightarrow \sigma^2\)
- 建立枢轴量：\(W = W(X_1,X_2,...,X_n; \theta)\)，使得 \(W\) 不依赖于 \(\theta\) 及其他未知参数
- 确定 \(W\) 的分布，通常选取经典分布
- 根据 \(W\) 的分布，建立概率等式：
\[P\{ W_{1-\alpha/2} < W < W_{\alpha/2} \} = 1-\alpha
\]
\[P\{ a < \theta < b \} = 1-\alpha
\]
\((a,b)\) 即为 \(\theta\) 的一个置信水平为 \(1-\alpha\) 的置信区间。
单个正态总体参数的区间估计
均值 \(\mu\) 的区间估计
（1）\(\sigma^2\) 已知
根据中心极限定理，选取枢轴量
\[\frac{\bar{X} - \mu}{\sigma/\sqrt{n}} \sim N(0,1)
\]
注意右边的枢轴量（即标准正态分布）并不依赖于任何未知参数，因此有
\[P\left\{ -u_{\alpha/2} < \frac{\bar{X} - \mu}{\sigma/\sqrt{n}} < u_{\alpha/2} \right\} = 1-\alpha
\]
注：对于标准正态分布，有 \(u_{\alpha} = -u_{1-\alpha}\)
等价变形为
\[P\left\{ \bar{X} - \frac{\sigma}{\sqrt{n}} u_{\alpha/2} < \mu < \bar{X} + \frac{\sigma}{\sqrt{n}} u_{\alpha/2} \right\} = 1-\alpha
\]
因此 \(\mu\) 的一个置信水平为 \(1-\alpha\) 的置信区间为
\[\left(\bar{X} - \frac{\sigma}{\sqrt{n}} u_{\alpha/2}, \bar{X} + \frac{\sigma}{\sqrt{n}} u_{\alpha/2} \right)
\]
注：有些教科书上用的不是 \(u\)，而是 \(z\)，其实两者表示的意思是一样的。
（2）\(\sigma^2\) 未知
考虑 \(S^2\) 为 \(\sigma^2\) 的无偏估计，根据抽样分布定理，应选取枢轴量
\[\frac{\bar{X} - \mu}{S/\sqrt{n}} \sim t(n-1)
\]
注意右边的枢轴量（即自由度为 \(n-1\) 的 \(t\) 分布）并不依赖于任何未知参数，因此有
\[P\left\{ -t_{\alpha/2}(n-1) < \frac{\bar{X} - \mu}{S/\sqrt{n}} < t_{\alpha/2}(n-1) \right\} = 1-\alpha
\]
注：对于自由度为 \(n\) 的 \(t\) 分布，有 \(t_{\alpha}(n) = -t_{1-\alpha}(n)\)
等价变形为
\[P\left\{ \bar{X} - \frac{S}{\sqrt{n}} t_{\alpha/2}(n-1) < \mu < \bar{X} + \frac{S}{\sqrt{n}} t_{\alpha/2}(n-1) \right\} = 1-\alpha
\]
因此 \(\mu\) 的一个置信水平为 \(1-\alpha\) 的置信区间为
\[\left(\bar{X} - \frac{S}{\sqrt{n}} t_{\alpha/2}(n-1), \bar{X} + \frac{S}{\sqrt{n}} t_{\alpha/2}(n-1) \right)
\]
方差 \(\sigma^2\) 的区间估计
（1）\(\mu\) 已知
由抽样分布定理，应选取枢轴量
\[\chi^2 = \frac{1}{\sigma^2} \sum_{i=1}^n (X_i - \mu)^2 \sim \chi^2(n)
\]
注意右边的枢轴量（即自由度为 \(n\) 的 \(\chi\) 分布）并不依赖于任何未知参数，因此有
\[P\left\{ \chi_{1-\alpha/2}^2(n) < \frac{1}{\sigma^2} \sum_{i=1}^n (X_i - \mu)^2 < \chi_{\alpha/2}^2(n) \right\} = 1-\alpha
\]
等价变形为
\[P\left\{ \frac{\sum_{i=1}^n (X_i - \mu)^2}{\chi_{\alpha/2}^2(n)} < \sigma^2 < \frac{\sum_{i=1}^n (X_i - \mu)^2}{\chi_{1-\alpha/2}^2(n)} \right\} = 1-\alpha
\]
因此 \(\sigma^2\) 的一个置信水平为 \(1-\alpha\) 的置信区间为
\[\left(\frac{\sum_{i=1}^n (X_i - \mu)^2}{\chi_{\alpha/2}^2(n)}, \frac{\sum_{i=1}^n (X_i - \mu)^2}{\chi_{1-\alpha/2}^2(n)} \right)
\]
（2）\(\mu\) 未知
考虑 \(S^2\) 为 \(\sigma^2\) 的无偏估计，由抽样分布定理，应选取枢轴量
\[\chi^2 = \frac{n-1}{\sigma^2} S^2 \sim \chi^2(n-1)
\]
注意右边的枢轴量（即自由度为 \(n-1\) 的 \(\chi\) 分布）并不依赖于任何未知参数，因此有
\[P\left\{ \chi_{1-\alpha/2}^2(n-1) < \frac{n-1}{\sigma^2} S^2 < \chi_{\alpha/2}^2(n-1) \right\} = 1-\alpha
\]
等价变形为
\[P\left\{ \frac{(n-1)S^2}{\chi_{\alpha/2}^2(n)} < \sigma^2 < \frac{(n-1)S^2}{\chi_{1-\alpha/2}^2(n)} \right\} = 1-\alpha
\]
因此 \(\sigma^2\) 的一个置信水平为 \(1-\alpha\) 的置信区间为
\[\left(\frac{(n-1)S^2}{\chi_{\alpha/2}^2(n)}, \frac{(n-1)S^2}{\chi_{1-\alpha/2}^2(n)} \right)
\]
两个正态总体参数的区间估计（略）
（略）
补充：单侧置信区间
【定义 1】设总体的未知参数为 \(\theta\)，由样本 \(X_1,X_2,...,X_n\) 确定的统计量
\[\hat{\theta} = \hat{\theta} (X_1,X_2,...,X_n)
\]
对于给定的实数 \(\alpha(o<\alpha<1)\)，满足
\[P\{ \theta > \hat{\theta} \} \geq 1-\alpha, \forall \theta \in \Theta
\]
则称随机区间 \((\hat{\theta}, +\infty)\) 是 \(\theta\) 的置信水平为 \(1-\alpha\) 的单侧置信区间，\(\hat{\theta}\) 称为 \(\theta\) 的置信水平为 \(1-\alpha\) 的单侧置信下限。
【定义 2】设总体的未知参数为 \(\theta\)，由样本 \(X_1,X_2,...,X_n\) 确定的统计量
\[\hat{\theta} = \hat{\theta} (X_1,X_2,...,X_n)
\]
对于给定的实数 \(\alpha(o<\alpha<1)\)，满足
\[P\{ \theta < \hat{\theta} \} \geq 1-\alpha, \forall \theta \in \Theta
\]
则称随机区间 \((-\infty, \hat{\theta})\) 是 \(\theta\) 的置信水平为 \(1-\alpha\) 的单侧置信区间，\(\hat{\theta}\) 称为 \(\theta\) 的置信水平为 \(1-\alpha\) 的单侧置信上限。
【举例】对于正态总体 \(X\)，若均值 \(\mu\)、方差 \(\sigma^2\) 均未知，设 \(X_1,...,X_n\) 是一个样本，由
\[\frac{\bar{X} - \mu}{S/\sqrt{n}} \sim t(n-1)
\]
得
\[P\left\{ \frac{\bar{X} - \mu}{S/\sqrt{n}} < t_{\alpha}(n-1) \right\} = 1-\alpha
\]
等价变形为
\[P\left\{ \mu > \bar{X} - \frac{S}{\sqrt{n}} t_{\alpha}(n-1) \right\} = 1-\alpha
\]
因此 \(\mu\) 的一个置信水平为 \(1-\alpha\) 的单侧置信区间为
\[\left(\bar{X} - \frac{S}{\sqrt{n}} t_{\alpha}(n-1), +\infty \right)
\]
【总结】在形式上，只需将置信区间的上下限中的 \(\alpha/2\) 改成 \(\alpha\)，就能得到相应的单侧置信上下限了。
