机器学习数学系列（4）：参数估计

主要内容：

点估计：

　　矩估计

　　极大似然估计

　　点估计的评判准则

区间估计：

　　置信区间

 

符号说明：

1 参数估计问题

2 点估计

2.1 矩估计

矩估计法的基本思想是根据大数定律，利用样本矩对总体分布矩进行估计。

然后利用总体矩与参数的关系来对参数进行估计。

记号：

矩估计的基本原理：大数定律

例1：两点分布的参数估计

例2：正态分布的参数估计

2.2 极大似然估计

给定随机变量的分布与未知参数，利用观测到的样本计算似然函数。

选择最大化似然函数的参数作为参数估计量。

极大似然函数的基本原理：最大化似然函数。

例：正态分布的参数估计

2.3 点估计的评判准则

2.4 点估计：相和性

相和性是最基本的要求，矩估计的相合性是由大数定律来保证的，极大似然估计的相合性也是隐含地由大数定律来保证的。

2.5 点估计：无偏性

任何一个满足相合性的参数估计，当样本趋于无穷的时候都会收敛于参数的真实值。但是对于有限样本的情况，这个估计值的期望不见得总等于参数的真实值。

2.6 点估计：有效性

例：

2.7 点估计：渐近正态性

渐进正态这里涉及到一些矩阵的知识，尤其是极大似然估计的渐进正态性质。

2.8 区间估计：置信区间