数学基础-概率论03（统计推断-参数估计）

小书匠

统计推断是通过样本推断总体的分布或者分布的数字特征。

3.参数估计

已知一个总体的分布类型，但是对分布里面的参数不清楚，如泊松分布P(),正态分布的N(),这时候需要对这些未知参数进行估计。

3.1 点估计

点估计：以某个适当的统计量的估测值作为未知参数的估计值

3.1.1 矩估计

矩估计法是用样本n阶矩去估计总体n阶矩，n的大小由未知参数决定，在估计的过程中，解得未知参数。

例子：
1.泊松分布矩估计：已知总体X~P()[泊松分布],现有样本,求的矩估计量。
首先只有一个未知参数，一阶矩（期望）可以解决，泊松分布的一阶矩为：
其次样本的一阶矩是
令总体的一阶矩等于样本的一阶矩，即，解得估计量（记为）为：

2.正态分布矩估计：已知总体X~N()[正态分布],现有样本,求和的矩估计量。
两个未知参数，用一阶原点矩和二阶原点矩解决。并使总体的相应矩等于样本矩，建立其方程组后，解出两个参数。
解得：和

特点：

1.矩估计的方法依赖于抽取的样本，不同的样本对应不同的参数估计值，所以具有一定随意性
2.使用矩估计要求总体存在原点矩，有些随机变量（如柯西分布）的原点矩不存在，因此无法使用矩估计

3.1.2 极大似然估计

极大似然估计始于高斯误差理论，直观的想法是目前为止所观测到的事件是最有可能出现的事件。比如你和职业车手比赛，有一人赢了，我们总是倾向于是职业车手赢得比赛。
设总体含有待估计参数,他可以取很多值，在这很多值值中取出使得样本出现的概率最大的那些值，称这些值为的极大似然估计。

例子：
1.泊松分布极大似然估计：已知总体X~P()[泊松分布],现有样本,求的极大似然估计值。
已知泊松分布的分布律为：
首先得到似然方程，该批次观测值出现的概率为所以事件的概率乘积，即

取对数得：

由于L和lnL在同一个有极值，因此为了求L的极值，可以对lnL使用极限的思想进行分析。

解得的极大是然估计值（记为）：

特点：

1.不要求总体原点矩存在
2.需要求解似然方程

3.1.3 估计量的评选标准

1.无偏性
假设每次抽样，对参数均有一个估计值，记为,若取所有估计值的期望是对参数的正确无偏估计，即,则为的无偏估计量。

2.有效性
多次抽样，使用不同的方法计算得到多组的估计量，这两组中较稳定的（即方差小）较其他组更为有效的估计。方差反映估计值在真实值附近更为“集中”。

3.一致性（相合性）
毫无疑问，抽取样本的容量越大，对未知参数的估计越接近真实值，估计量的这种性质称为一致性（相合性）

相合估计量：
设为未知参数的估计量，若依概率收敛于,则对任意,有

此时，称为(弱)相合估计量。

注：

1.一般而言，三个估计量评选标准只要满足前面两个标准就不错了，因为使用一致性要求样本容量足够大

3.2 区间估计

区间估计：用两个统计量的观测值确定的区间来估计未知参数的大致范围,并给出未知参数落在此区间的概率。

定义
对于事先指定的概率,若有对未知参数的统计量和，使得：

那么为置信水平为的置信区间，在和为置信上下限，在为置信区间长度。

3.2.1 单正态总体参数的区间估计

均值区间估计
（1）总体方差已知，求的区间估计
总体服从正态分布且方差已知时，或者总体不是正态分布但是为大样本时，样本的均值的抽样分布均为正态分布，其数学期望为总体的均值，方差为.样本均值经过标准化后的随机变量则服从标准正态分布，即：

根据标准正态分布性质，概率密度关于y轴对称，可得到以下式子：

解释如下：

标准正态分布的概率密度函数

已知概率密度函数下的面积为该变量出现的概率，假设区域2，3的面积和为，则区域1，4的面积和为。由于对称关系，1，4各为，为置信度，会提前告知，所以现在是已知概率，要求得随机变量上（即x轴）上对应的位置，如上图的u竖线与x轴的相交点位置。这个只需去查正态分布表。如时，,去该表中查得总体在(0,)之间对于的随机变量位置为1.96.