最大似然估计(MLE)入门教程

 

什么是最大似然估计(MLE)

最大似然估计(Maximum Likelihood Estimation)是一种可以生成拟合数据的任何分布的参数的最可能估计的技术。它是一种解决建模和统计中常见问题的方法——将概率分布拟合到数据集。

例如，假设数据来自泊松(λ)分布，在数据分析时需要知道λ参数来理解数据。这时就可以通过计算MLE找到给定数据的最有可能的λ，并将其用作对参数的良好估计。

MLE是用于拟合或估计数据集概率分布的频率法。这是因为MLE从不计算假设的概率，而贝叶斯解会同时使用数据和假设的概率。MLE假设在计算方法之前，所有的解决方案(分布的参数)都是等可能的，而贝叶斯方法(MAP)不是这样，它使用了关于分布参数的先验信息。

MLE之所以有效，是因为它将寻找数据分布的参数视为一个优化问题。通过最大化似然函数，找到了最可能的解。

理解似然函数

顾名思义，最大似然估计是通过最大化似然函数来计算的。(从技术上讲，这不是找到它的唯一方法，但这是最直接的方法)。

似然函数是衡量样本成为观察到数据的概率。

如果数据集有1-n个独立同分布的(iid)随机变量，X₁至Xₙ，与观察到的数据 x₁ 到 xₙ 相关，我们就有似然函数的数学表达式：

这可以很好地概念化似然函数——但是我们如何将其分解为可以从数据中计算出来的东西呢？换句话说，我们怎样才能找到最大化我们的似然函数的θ，并且确认他是最大化的？

给定

那么

因为所有随机变量作为观察数据值的概率等于每个随机变量作为每个数据值的概率（因为它们是独立同分布的）。

最后，如果数据来自的分布具有密度函数 f(x)，例如泊松分布，

完整路径

https://avoid.overfit.cn/post/7c8d4ccce5ba4c00bac91cdb335796df