什么是极大似然估计（Maximum Likelihood Estimate， MLE）

目录

• 1.理解
• 2. 参考

 

---

回到顶部

1.理解

设总体有分布 $f(x;{\theta }_1,\cdots ,{\theta }_k),X_1,\cdots ,X_n$ 为自这个总体总抽出的样本，则样本$(X_1,\cdots ,X_n)$ 的分布（即其概率密度函数或概率函数）为

$$f(x_1;{\theta }_1,\cdots ,{\theta }_k)f(x_2;{\theta }_1,\cdots ,{\theta }_k)\cdots f(x_n;{\theta }_1,\cdots ,{\theta }_k),$$

记为$L(x_1,\cdots ,x_n;{\theta }_1,\cdots ,{\theta }_k)$.
固定${\theta }_1,\cdots ,{\theta }_k$, 而看作$x_1,\cdots ,x_n$的函数时，L是一个概率密度函数或概率函数。可以这样理解：若

$$L(Y_1,\cdots ,Y_n;{\theta }_1,\cdots ,{\theta }_k)>L(X_1,\cdots ,X_n;{\theta }_1,\cdots ,{\theta }_k)$$

则在观察时出现$(Y_1,\cdots ,Y_n)$ 这个点的可能性要比出现$(X_1,\cdots ,X_n)$ 的可能性要大。
把这件事反过来说，可以这么想：当已观察到$X_1,\cdots ,X_n$ 时，若

$$L(X_1,\cdots ,X_n;{\theta }_1^{\prime },\cdots ,{\theta }_k^{\prime })>L(X_1,\cdots ,X_n;{\theta }_1^{″},\cdots ,{\theta }_k^{″})$$

则被估计的参数$({\theta }_1,\cdots ,{\theta }_k)$ 是$({\theta }_1^{\prime },\cdots ,{\theta }_k^{\prime })$ 的可能性比它是${\theta }_1^{″},\cdots ,{\theta }_k^{″}$ 的可能性要大。
当$X_1,\cdots ,X_2$ 固定而把L看作${\theta }_1,\cdots ,{\theta }_k$ 的函数时，它称为“似然函数”。这个名称的意义，可根据上述分析得到理解：
这个还是对不同的$({\theta }_1,\cdots ,{\theta }_k)$ 的取值，反映了在观察结果$(X_1,\cdots ,X_2)$ 已知的条件下，$({\theta }_1,\cdots ,{\theta }_k)$ 的各种值的“似然程度”。
把观察值$(X_1,\cdots ,X_2)$看作结果，而把参数值$({\theta }_1,\cdots ,{\theta }_k)$ 看成是导致这个结果的原因。现在已经有了结果，要反过来推算各种原因的概率。
这里，参数$({\theta }_1,\cdots ,{\theta }_k)$ 有一定的值（虽然未知），并非事件或者随机变量，无概率可言，于是就改用“似然”这个词。

由上述分析就自然地导致以下的方法：应该用似然程度最大的那个点$({\theta }_1^{\ast },\cdots ,{\theta }_k^{\ast })$, 即满足条件

$$L(X_1,\cdots ,X_n;{\theta }^{\ast },\cdots ,{\theta }_k^{\ast })=ma{x}_{\theta 1,\cdots ,{\theta }_k}L(X_1,\cdots ,X_n;{\theta }_1,\cdots ,{\theta }_k)$$

的$({\theta }_1^{\ast },\cdots ,{\theta }_k^{\ast })$ 去作为$({\theta }_1,\cdots ,{\theta }_k)$的估计值，因为在已得样本$X_1,\cdots ,X_n$ 的条件下，这个“看起来最像”是真参数值。这个估计$({\theta }_1^{\ast },\cdots ,{\theta }_k^{\ast })$ 就叫做$({\theta }_1,\cdots ,{\theta }_k)$的“极大似然估计”。如果要估计的是$g({\theta }_1,\cdots ,{\theta }_k)$，则$g({\theta }_1^{\ast },\cdots ,{\theta }_k^{\ast })$ 是它的极大似然估计。
因为

$$lnL=\sum _{i=1}^{n}lnf(X_i;{\theta }_1,\cdots ,{\theta }_k),$$

且为使L达到最大，只需使lnL达到最大（它们是同单调的，而取对数是为了求导的时候将连乘转为连加），故在f对${\theta }_1,\cdots ,{\theta }_k$ 存在连续的偏导数时，可建立方程组（称为似然方程组）：

$$\frac{\partial lnL}{\partial {\theta }_i}=0(i=1,\cdots ,k).$$

如果这个方程组有唯一的解，又能验证它是一个极大值点，则它必是使L达到最大的点，即极大似然估计。

回到顶部

2. 参考

《概率论与数理统计（陈希孺）》
详解最大似然估计（MLE）、最大后验概率估计（MAP），以及贝叶斯公式的理解