极大似然性估计

1、问题

当我们描述世界上的很多事物时，常常喜欢用某个已知的分布模型来近似刻画它，比如二项分布和高斯分布（正态分布）等。但是，当我们选定某个模型后，就产生了模型中参数如何确定的问题，为此就引入了极大似然性估计。

2、基本思想

为了确定合适的参数，我们首先得从现实中获取一定的实例样本S。这时，人们就想了，既然我们获得了实例样本S，那么它在所有样本中出现的概率就应该是最大的，这就转化成求使得P(S)最大的极值点问题。求出的极值点就是所要确定的参数的合适的值。

3、示例

我们就以简单的抛硬币为例子，演示下最大似然性估计。

假设它服从二项分布，P(head)=u

设S为人们观察到的事件的特定序列，即上述的实例样本，在该特定序列S中，有m次正面朝上，n次反面朝上，则：P(S|u)=u^m(1-u)ⁿ

上式即是本例子中的似然函数(likelihood function)。

为使似然函数P(S|u)最大化，两边取对数，得到：lnP(S|u)=m*ln(u)+n*ln(1-u)

对lnP(S|u)关于m求导，并使求导结果为0，得到：m/u-n/(1-u)=0

可求得：u=m/(m+n)

结束。