关于最大似然估计的理解
似然 这个词害死人啊!
拽什么拽啊,就是 最大可能估计!还有什么极大似然估计。都是坑人的,都一样。
最大似然估计是机器学习领域最为常见的用来构建 目标函数 的方法。
他的核心思想是:根据观测到的结果来预测其中的未知参数。
假设有一枚硬币,它是不均匀的,也就是说出现正面的反面的概率是不同的。假设我们设定这枚硬币出现正面的概率为 , 这里
指的是正面(head), 类似的还会有反面(tail)。假设我们投掷6次之后得到了以下的结果,而且我们假定每次投掷都是相互独立的事件:
其中D表示所观测到的所有样本。从这个结果其实谁都可以很容易说出 ,也就是出现正面的概率为4/6,其实我们在无意识中使用了最大似然估计法。接下来,我们从更严谨的角度来定义最大似然下的目标函数。
基于最大似然估计法,我们需要最大化观测到样本的概率,即p(D)。进一步可以写成:
我们的目标是最大化概率值 。那这部分的优化即可以采用上面所提到的方法。
把这个式子整理完之后即可以得到 , 结果跟一开始我们算出来的是一致的。