最大似然估计与最小二乘
例如:一个麻袋里有白球与黑球,但是我不知道它们之间的比例,那我就有放回的抽取10次,结果我发现我抽到了8次黑球2次白球,我要求最有可能的黑白球之间的比例时,就采取最大似然估计法。
MLE可以看作一种特殊情况下的Bayesian 估计,具体来说,就是在prior (先验)是 diffuse (无知的)情况下,让posterior(后验) 分布取得极大值的系数值。我们有一些理论模型,记作 "model",这个model 是什么,在很多实践中,就是一个模型中关键系数的值是什么这样的问题(不同的系数的值,我们称作不同的model) 。我们现在又观测到一组数据,记作"observation"。那么问题来了,给定一个model (一组关键系数的值),必然会有关于observation 的分布密度函数,所以我们知道P(observation|model) (给定一个model,observation的条件分布)的函数形式。
我们真正关心的,却是 P(model|observation) 的函数形式,也就是给定了当前的observation (observation是实际观测到的,是确定下来的),到底不同的model的概率是什么。当然,一个很贪心的做法,就是找到那个能把P(model|observation) 取到最大值的model (给定某个观测,最有可能的model)。
现在根据贝耶斯原理,
P(model|observation) = [ P(observation|model) * P(model) ]/ P(observation)
其中P(observation) 不太重要,因为我们想知道不同model 是如何影响 P(model|observation)的,或者是贪心的求P(model|observation)的最大值。而P(observation)已经固定下来了,不随model改变,所以我们无视他。
我们如果知道 P(model)(所谓的Prior) 的函数形式,那么就没有什么问题了。此时的P(model|observation)是一个关于model 的函数。报告这个P(model|observation)作为model的函数的函数形式,就叫贝耶斯估计。可是,这需要我们知道P(model)。实际中我们不知道这个玩意,所以一般我们猜一个。
我们如果承认不知道P(model),认为我们对他是无知的话,那么P(model) = 常数 for all model,此时求P(model|observation) 最大值,也就等价于求P(observation|model) 的最大值,这就叫做MLE。