区间估计通俗理解与理论推导

区间估计相关概念

现在你的楼下有一家馒头店，馒头店老板拿着几天卖出的馒头数数据如下找到了你，想请你帮忙估计一下每天卖出的馒头数

在之前的文章中https://blog.csdn.net/qq_42692386/article/details/139919043我们可以直接用矩估计的方法求个均值，得到每天卖出的馒头数是10个。因为估计的结果是一个值，所以称为点估计。

但是老板不太满意：这个估计结果从已有数据看6天里只有一天是正确的，正确率这么低结果不靠谱啊，能不能把准确率提高到80%以上？

为了让老板更满意一点，我们开始考虑有没有什么解决办法：点估计的问题就是结果只有一个点，而一般数据都是会存在波动的，所以很自然的我们想能不能给出一个范围，这个范围是均值或者点估计值加减误差，这样预计出来的结果就更加精准呢？这样估计的结果是一个区间就叫做区间估计。

按照已有的数据估计每天卖出的馒头数有很多的区间可以选择，我们可以预测每天卖出的馒头数是0到10万个，那么每天卖出馒头数可能99%都在这个区间内，但是这个预测区间没有任何实际意义。
同时也可以估计区间是到7到13个，这个区间看起来就比较合理，那么这个范围有多可信？是否高于老板要求的80%

在区间估计中，我们找的区间（例如7到13个，0到10万个）称为置信区间，置信区间的上下限就称为置信上限和置信下限。老板的要求落在置信区间里的概率80%，或者说可信度就称为置信水平或置信度。

那么具体怎么确定对应置信水平的置信区间呢？联系到常见的统计量及其分布的知识，知道了均值和方差对应的分布就可以根据对应的概率密度函数得到置信水平的置信区间。

首先给出一个严谨一点的数学定义如下：
设 $\theta \in \Theta$ 是总体的一个待估参数，$X_1,\cdot \cdot \cdot ,X_n$ 为来自总体的样本。对给定的实数$\alpha (0<\alpha <1)$，假设有两个统计量 $T_1(X_1,\cdots ,X_n),T_2(X_1,\cdots ,X_n)$，若对任意 $\theta \in \Theta$，有$P(T_1\le \theta \le T_2)\ge 1-\alpha$,则称随机区间$[T_1,T_2]$ 为 $\theta$ 的置信水平为 $1-\alpha$ 的 置信区间 或 区间估计。定义中的$\alpha$称为显著性水平，他代表的含义我们会在后续假设检验中说明。

需要注意的一点就是置信区间是随机的可以调整的，可能不同的区间得到的置信水平是一样的，那么一般是取区间长度更短的，这样精度更高，例如对于上述馒头数的例子，可能置信区间为7到13个或者7到12个可能都满足置信水平为80%。但是对于更一般的情况，类似于正态分布情况下选择均值加减误差这一个以均值对称的区间就是区间长度最短的，其他情况下一般也是选取这种对称的区间形式，但是不一定是区间最短。

正态总体的区间估计

先规定符号如下，设给定置信水平为 $1-\alpha$，样本均值为 $\overline{X}$ ，样本方差为$S^2$，样本$X_1,X_2，\cdots ,N_n$来自于总体 $N(\mu ,{\sigma }^2)$的样本

当总体为正态分布时，常见的区间估计场景有以下几种

方差已知，估计均值

由正态分布相加时的性质$\mathrm{aX}+\mathrm{bY}\sim N\left(\mathrm{a}{\mu }_1+b{\mu }_2,{\mathrm{a}}^2{\sigma }_1^2+b^2{\sigma }_2^2\right)$，有
$$\sum _{i=1}^n{X}_i\sim N(n\mu ,n{\sigma }^2)，即\bar{X}\sim N(\mu ,{\sigma }^2/n)$$
将其转化为标准正态分布有
$$\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$$
在置信水平为$1-\alpha$时，就是这一个分布的概率是$1-\alpha$，即
$$P(-z_{\alpha /2}<\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}<z_{\alpha /2})=1-\alpha$$
请注意回忆$z_{\alpha }$的含义，它是上$\alpha$分位点！也就是说该点右侧概率密度曲线与x轴的面积 (概率，也就是阴影部分的面积)为$\alpha$,这里左右两侧都有，所以取得是$\alpha /2$分位点。
用图像表示如下：

解得
$$P(\bar{X}-\frac{\sigma }{\sqrt{n}}{z}_{\alpha /2}<\mu <\bar{X}+\frac{\sigma }{\sqrt{n}}{z}_{\alpha /2})=1-\alpha$$
所以均值的置信水平为$1-\alpha$的置信区间为
$$\bar{X}-\frac{\sigma }{\sqrt{n}}{z}_{\alpha /2}<\mu <\bar{X}+\frac{\sigma }{\sqrt{n}}{z}_{\alpha /2}$$

方差未知，估计均值

考虑到实际情况总体方差${\sigma }^2$不知道的情况居多，所以上述的公式包含未知参数$\sigma$就不能使用了，所以考虑到样本方差$S^2$是${\sigma }^2$的无偏估计，考虑将$\sigma$替换为$S$

由正态分布与t分布的关系有：
$$\frac{\bar{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$$
故需要使用t分布求解。在置信水平为$1-\alpha$的情况下，根据t分布的上分位点，有
$$P(-t_{\alpha /2}<\frac{\bar{X}-\mu }{S/\sqrt{n}}<t_{\alpha /2})=1-\alpha$$

解得置信区间为：
$$\bar{X}-\frac{S}{\sqrt{n}}{t}_{\alpha /2}<\mu <\bar{X}+\frac{S}{\sqrt{n}}{t}_{\alpha /2}$$

均值未知，估计方差

使用卡方分布求解，由正态分布与卡方分布的关系，有：
$$\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$$
置信水平为$1-\alpha$的情况下，根据卡方分布的上分位点，注意这里的下标与上面的有些区别，因为卡方分布的密度函数是不对称的，而前面的标准正态分布和t分布的密度函数是对称的。因为有了对称性，所以才有前面的$t_{1-\alpha /2}=-t_{\alpha /2}$。
$$P({\chi }_{1-\alpha /2}^2(n-1)<\frac{(n-1)S^2}{{\sigma }^2}<{\chi }_{\alpha /2}^2(n-1))=1-\alpha$$

可以解得方差在置信水平为$1-\alpha$下的置信区间为：
$$\frac{(n-1)S^2}{{\chi }_{\alpha /2}^2(n-1)}<{\sigma }^2<\frac{(n-1)S^2}{{\chi }_{1-\alpha /2}^2(n-1)}$$

两个正态总体的区间估计

在之前的部分给出的都是一个正态总体的均值或者方差区间估计，也就是估计一家馒头店每天卖出的馒头数量的平均值或者方差，但是现在楼下的馒头店老板又问了：感觉现在每天卖出馒头的数量不是很多，我回去改进一下馒头的口味，拿到了新的数据，能否估计一下新的馒头是否比旧的馒头卖的更好呢？
类似于这种两个总体之间的均值和方差比较，需要知道变化有多大的问题就是两个正态总体的区间估计。其计算逻辑与上述所说的单个正态总体逻辑相似

类似的，设给定置信水平为 $1-\alpha$，样本方差为$S^2$，样本$X_1,X_2，\cdots ,N_n$是来自于一个总体的样本，样本$Y_1,Y_2，\cdots ,Y_n$是来自于另一个总体的样本，两个样本相互独立，样本均值分别为 $\overline{X}，\overline{Y}$ ，样本方差分别为$S_1^2,S_2^2$

两个总体均值差${\mu }_1-{\mu }_2$的置信区间

方差${\sigma }_1^2,{\sigma }_2^2$均已知

由正态分布的性质有
$$\bar{X}\sim N({\mu }_1,{\sigma }_1^2/n_1),\bar{Y}\sim N({\mu }_2,{\sigma }_2^2/n_2)$$
则有
$$\bar{X}-\bar{Y}\sim N({\mu }_1-{\mu }_2,\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2})$$
化为标准正态分布，有：
$$\frac{(\bar{X}-\bar{Y})-({\mu }_1-{\mu }_2)}{\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}}\sim N(0,1)$$
这样就把${\mu }_1-{\mu }_2$看作一个正态分布总体，根据上面的逻辑有
$$P(-z_{\alpha /2}<\frac{(\bar{X}-\bar{Y})-({\mu }_1-{\mu }_2)}{\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}}<z_{\alpha /2})=1-\alpha$$
解得置信区间为：
$$\left((\bar{X}-\bar{Y})-z_{\alpha /2}\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}},(\bar{X}-\bar{Y})+z_{\alpha /2}\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}\right)$$

方差相等为${\sigma }^2$但未知

两个正态分布总体的均值和方差有如下定理：
$$\frac{(\bar{X}-\bar{Y})-({\mu }_1-{\mu }_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t(n_1+n_2-1)$$
其中
$$S_w^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2},S_w=\sqrt{S_w^2}$$
按照之前的方法代入求解，可得置信区间为：
$$(\bar{X}-\bar{Y}-t_{\alpha /2}(n_1+n_2-2)S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}},\bar{X}-\bar{Y}+t_{\alpha /2}(n_1+n_2-2)S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}})$$
这个情形的目的是判断两个总体的均值差，常用在假设检验中判断两个总体是否均值相等，如果得到的置信区间中包括0，也就是${\mu }_1-{\mu }_2$有对应的概率相等，就认为两个总体的均值没有显著差别。

两个总体方差比${\sigma }_1^2/{\sigma }_2^2$的置信区间

两个正态分布总体的均值和方差有如下定理：
$$\frac{S_1^2/S_2^2}{{\sigma }_1^2/{\sigma }_2^2}\sim F(n_1-1,n_2-1)$$
由于F分布的函数不是对称单峰的，所以
$$P\left\{F_{1-\alpha /2}(n_1-1,n_2-1)<\frac{S_1^2/S_2^2}{{\sigma }_1^2/{\sigma }_2^2}<F_{\alpha /2}(n_1-1,n_2-1)\right\}=1-\alpha$$
解得置信区间为
$$(\frac{S_1^2}{S_2^2}\frac{1}{F_{\alpha /2}(n_1-1,n_2-1)},\frac{S_1^2}{S_2^2}\frac{1}{F_{1-\alpha /2}(n_1-1,n_2-1)})$$

非正态分布下的区间估计

由中心极限定理，当样本量越来越大时，样本均值的分布会趋近于正态分布，如下图

所以当我们的样本量较大时，虽然不服从正态分布，但可以近似使用使上述正态分布的推导逻辑和结果。例如0-1分布的情况下，根据中心极限定理有$\frac{n\bar{X}-np}{\sqrt{np(1-p)}}$近似服从$N(0,1)$

单侧置信区间和双侧置信区间

在之前的例子中我们说的都是双侧置信区间，例如估计一天卖出的馒头数量是在哪个区间里，包括了区间上限和区间下限。但在有些时候我们只关心上限或者下限，例如估计每天卖出的馒头数量的下限是多少，那么在同样的置信水平下，每天卖出的馒头数量大于这个下限的概率等于置信水平即可，也就是单侧置信区间。只需要把所有的式子中出现的参数改为$\alpha /2$改为$\alpha$即可，其余的推导方法完全不变

例如对于一个正态分布总体，方差$\mu$和均值${\sigma }^2$均为未知的，如果需要求一个均值$\mu$的含单侧置信下限的单侧置信区间则有：
$$\frac{\bar{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$$
$$P\left\{\frac{\bar{X}-\mu }{S/\sqrt{n}}<t_{\alpha }(n-1)\right\}=1-\alpha$$
对应概率密度函数如下

解得这个单侧置信区间为 $(\bar{X}-\frac{S}{\sqrt{n}}{t}_{\alpha }(n-1),\infty )$，单侧置信下限为$\bar{X}-\frac{S}{\sqrt{n}}{t}_{\alpha }(n-1)$