最大似然预计(Maximum likelihood estimation)
一、定义
最大似然预计是一种依据样本来预计模型參数的方法。其思想是,对于已知的样本,如果它服从某种模型,预计模型中未知的參数,使该模型出现这些样本的概率最大。这样就得到了未知參数的预计值。
二、过程
举例而言,我们要统计全国人口的体重,首先如果全国人口的体重服从正态分布,但均值和方差未知。因为我们没有那么多的人力和物力来统计,因此我们能够採样,通过最大似然预计的方法来评估这个正态分布的均值和方差。
1. 列出似然函数
如果样本
是独立同分布,正态分布的概率密度函数用
表示,未知參数用![]()
表示,那么这个模型就能够表示为:
则似然函数就表示为:
2. 对似然函数取对数
在实际计算时,为了方便,对上式两边取对数:
当中,
称为对数似然。
我们所说的求最大似然。事实上就是求最大对数似然:
3. 求导数
那么
在什么时候取最大值呢?最简洁的方法便是求导数。解似然函数方程: