最大似然估计

最大似然估计法

什么是最大似然

最大似然估计，是一种概率论在统计学中的应用，是参数估计的一种方法。它想要表达的内容是：已知某个随机样本满足某种概率分布，但是其中的参数并不清楚，这时我们要做的就是进行若干次实验，观察其结果，利用结果的情况推出参数的最大可能取值，将该值作为参数的真实值。

举个栗子：有一枚硬币你并不知道它的两面均是什么情况（可能是"花"，可能是"字"），我只是告诉你我用它做了100次实验，100次都是"花"在上面，然后你告诉我这枚硬币哪面是"花"、哪面是"字"。这种通过事实，反过来推测硬币的情况，就是似然。通过实验结果我们知道了"花"出现的概率为100%，基于这种情况我们可以推断出最有可能的硬币的情况是两面都是"花"，这种通过事实推断出最有可能的硬币情况，就是最大似然估计。

如何进行最大似然估计

最大似然估计值的一般步骤：

　　Step1：写出似然函数；

　　Step2：对似然函数取对数，并整理；

　　Step3：求导数；

　　Step4：解似然方程。

 

假如我们抛硬币实验的结果是100次实验60次"花"朝上。因为抛硬币符合二项分布，故其似然函数可以表示为：

当参数为0.5时，

    当参数为0.6时，

此时，0.6作为参数的可能性是0.5作为参数的可能性的8倍，新的实验结果更加支持0.6这个参数。

图像如下：

故我们推断参数的真实值时0.6 。

更复杂问题的似然函数表示，我们用表示每次实验的结果，因为每次实验都是独立的，所以似然函数可以写成（独立事件的联合概率，直接相乘就可以得到）：

θ表示的是表达式的参数。表示在同一个参数下的实验结果，也可以认为是条件概率。