极大似然估计的数学意义及例题

最大似然估计是一种用来在给定观察数据下估计所需参数的技术。比如，如果已知人口分布遵从正太分布，但是均值和方差未知， MLE（maximum likelihood estimation）可以利用有限的样本来估计这些参数。

1.正规定义

从分布$f_0$中引出$n$个独立同分布的观察$x_1,x_2,...x_n$，其中$f_0$是从一族依赖于几个$\theta$参数的分布$f$而得来的。
MLE的目标就是最大化似然函数：
$L=f(x_1,x_2,...x_n|\theta)=f(x_1|\theta)\times f(x_2|\theta)\times ...\times f(x_n|\theta)$
通常，$log$似然函数更容易处理：
$\hat{l}=\frac{1}{n}logL=\frac{1}{n}\sum_{i=1}^{n}logf(x_i|\theta)$

2.举例

举例一

一个硬币被抛了100次，有61次正面朝上，假设硬币向上的概率猜测有三个$\frac{1}{3}$,$\frac{1}{2}$,$\frac{2}{3}$，以上三个哪个是最大似然估计？
求解：这个是伯努利分布，假设唯一参数为$p$，因此：
$P(H=61|p=\frac{1}{3})=\left(\begin{matrix}100\\61\end{matrix}\right)\left(\frac{1}{3}\right)^{61}\left(1-\frac{1}{3}\right)^{39}\approx9.6\times10^{-9}\\P(H=61|p=\frac{1}{2})=\left(\begin{matrix}100\\61\end{matrix}\right)\left(\frac{1}{3}\right)^{61}\left(1-\frac{1}{2}\right)^{39}0.007\\P(H=61|p=\frac{2}{3})=\left(\begin{matrix}100\\61\end{matrix}\right)\left(\frac{2}{3}\right)^{61}\left(1-\frac{2}{3}\right)^{39}\approx0.40$
比较以上三个值可以得出$p=\frac{2}{3}$是极大似然估计。

举例二

该例子利用导数为0得到极大似然估计，主动计算。