二、参数估计

1. 点估计与优良性

 

 点估计

　　总体 X 的分布函数形式已知，但它的一个或多个参数未知，借助总体的一个样本来估计总体未知参数的值的问题称为点估计。

　　点估计问题就是要构建一个适当的统计量 θ-hat（X₁、.. 、X_n），用它的观察值 θ-hat (x₁、.. 、 x_n)来估计未知参数 θ。

　　pass

无偏性

　　若估计量 θ-hat = θ（X₁、.. 、X_n）的数学期望 E（θ-hat）存在，且对任意 θ 有 E（θ-hat） = θ，则称 θ-hat 是 θ 的无偏估计量。

　　无偏估计量的实际意义：无系统误差。

　　若 limE(θ-hat) = θ，则称 θ-hat 是 θ 的渐进无偏估计。

　　特别地，无论总体 X 服从什么分布，只有它的数学期望存在，样本均值pass总是总体的数学期望 EX 的无偏估计量。

　　　　　　修正样本方差 pass 是总体方差 σ² 的无偏估计量。

　　一般地，一个参数的无偏估计量不唯一。

　　问题：对于同一参数的的多个无偏估计量，如何评价它们的优劣？

均方误差准则

 　　pass

均方误差

　　MSE(θ-hat, θ) = E(θ-hat - θ)² 

　　这个还是无法找到最优估计。

有效性

　　若 D(θ₁-hat) < D(θ₂-hat)， 则称 θ₁-hat 比  θ₂-hat 有效。

最小方差无偏估计

　　如果存在 θ 的一个无偏估计量θ₀-hat，使得对于 θ 的任一方差存在的无偏估计量 θ-hat ，都有 D(θ₀-hat) < D(θ-hat)，则称 θ₀-hat 是 θ 的最小方差无偏估计 MVUE。

　　最小方差无偏估计是一种最优估计。

　　基于充分完备统计量的无偏估计一定是 MVUE。

最小方差无偏估计的判别法

　　pass

注：1. 此定理是最小方差无偏估计的判别法，但无法寻求最小方差无偏估计的存在性；

　　2. 由于L(X) 的任意性，因而很难利用定理判别。

　　3. 利用判别定理进行判别，非常复杂，况且也无法利用此定理去寻求MVUE。

　　充分完备统计量是解决上述困难的有力工具。

最小方差无偏估计计算方法

　　1. 构建一个充分完备统计量 T(X₁、.. 、X_n) 和一个 θ 的无偏估计 θ-hat。

　　2. 计算 E( θ-hat | T )， 其结果即为 MVUE。

有效估计

　　上面介绍了最小方差无偏估计以及相应的寻求方法。自然会引入另一个问题：无偏估计的方差是否可以任意的小？是否有下界？Rao-Cramer不等式可以回答此问题。

Fisher 信息量

　　pass

Rao-Cramer不等式

　　pass

罗－克拉美下界

　　pass

　　由此可见，统计量的方差不可以无限的小，存在下界。当无偏估计的方差达到下界，它一定是MVUE.。但最小方差无偏估计不一定达到下界。

　　最小方差无偏估计量的方差不一定能够达到罗克拉美下 界。为此，引入有效估计的概念。

有效估计

　　pass

　　如果 θ-hat 是 θ 的有效估计，则它也是最小方差无偏估计。但反之却不成立。

渐进有效估计

　　pass

 

相合估计（一致估计）

　　前面的估计的评价标准主要讨论了估计的期望和方差的特性，这个标准是从估计的极限特性给予说明。

　　θ_n-hat 依概率收敛于 θ ，则称 θ_n-hat 为 θ 的相合估计量。

　　相合估计是对估计量的一个基本要求。

相合估计的判别法则

 　　lim E(θ-hat ) = θ, 且 lim D(θ-hat ) = 0, 则 θ-hat 是 θ 的相合估计。

相合估计的性质 

 　　pass

渐进正态估计

 　　pass

　　渐进正态估计一定是相合估计。

2. 点估计量的求法

 　　由于估计量是样本的函数,是随机变量, 故对不同的样本值, 得到的参数值往往不同, 因此如何求得参数 θ 的估计量便是问题的关键所在。常用以下三种方法：

2.1 矩估计

基本思想：用样本矩估计总体矩，用样本矩的连续函 数来估计总体矩的连续函数。

理论依据： 大数定律。

记：

　　总体 k 阶原点矩 α_k  = E ( X^k )

　　样本 k 阶原点矩 A_k  = 

　　总体 k 阶中心矩 μ_k = E [ X - E X ]^k 

　　样本 k 阶中心矩 B_k = 

　　

　　设总体 X 的分布函数为 F(x； θ₁ ，... ，θ_m)， m 个待估参数，α_k  = E ( X^k )存在，（X₁、.. 、X_n）为来自总体 X 的简单随机样本。

具体步骤

 　　pass

　　

　　总体均值与方差的矩估计量的表达式不因不同的总体分布而异，一般地：用样本均值 作为总体 X 的均值的矩估计，用样本二阶中心矩  作为总体的方差的矩估计。

 　　同一参数的矩估计量可不唯一。

小结

 　　优点：简单易行, 并不需要事先知道总体是什么分布。

　　缺点：当总体类型已知时，没有充分利用分布提供的信息。 一般场合下, 矩估计量不具有唯一性。其主要原因在于建立矩法方程时，选取哪些总体矩用相应样本矩代替带有一定的随意性。

2.2 最大似然估计

 　　最大似然估计法是在总体类型已知条件下使用的一种参数估计方法。

似然函数

 　　pass

最大似然估计

　　选取使似然函数 L(θ) 取得最大值的 θ-hat 作为未知参数 θ 的估计值。

　　pass

求解步骤

 　　1. 写出似然函数

　　　　pass

　　2. 取对数

　　　　pass

　　3.对 θ 求导，令导函数为0， 解方程即得未知参数 θ 的最大似然估计值 θ-hat

　　　　pass

　　对于分布中含有多个未知参数的情况，对每个未知参数求偏导。

性质

　　pass

小结

　　最大似然估计充分利用了样本中包含的参数的信息，因而是一种比较好的估计， 通常情况下，最大似然估计不仅是相合估计，而且是渐近正态估计。

2.3 用次序统计量估计

 

1. 用样本中位数与样本极差估计参数

　　由于样本中位数与样本极差计算 便，因而通常情况下，可以用样本中位数估计总体期望，用样本极差估计总体的标准差。

 

3. 区间估计

　　点估计未能给出估计量 θ-hat 与真值 θ 的误差及估计的可靠程度。区间估计解决了上述问题。

置信度与置信区间

　　pass

求置信区间的一般步骤

 　　pass

正态总体的置信区间

　　pass

单侧置信区间

　　pass

非正态总体参数的区间估计

　　pass