极大似然性估计
1、问题
当我们描述世界上的很多事物时,常常喜欢用某个已知的分布模型来近似刻画它,比如二项分布和高斯分布(正态分布)等。但是,当我们选定某个模型后,就产生了模型中参数如何确定的问题,为此就引入了极大似然性估计。
2、基本思想
为了确定合适的参数,我们首先得从现实中获取一定的实例样本S。这时,人们就想了,既然我们获得了实例样本S,那么它在所有样本中出现的概率就应该是最大的,这就转化成求使得P(S)最大的极值点问题。求出的极值点就是所要确定的参数的合适的值。
3、示例
我们就以简单的抛硬币为例子,演示下最大似然性估计。
假设它服从二项分布,P(head)=u
设S为人们观察到的事件的特定序列,即上述的实例样本,在该特定序列S中,有m次正面朝上,n次反面朝上,则:P(S|u)=um(1-u)n
上式即是本例子中的似然函数(likelihood function)。
为使似然函数P(S|u)最大化,两边取对数,得到:lnP(S|u)=m*ln(u)+n*ln(1-u)
对lnP(S|u)关于m求导,并使求导结果为0,得到:m/u-n/(1-u)=0
可求得:u=m/(m+n)
结束。