简单介绍:
參数预计就是通过多次试验。观察其结果,利用结果推出參数的大概值。 (当你推出參数的极大可能值时。就相当于知道了分布及其參数情况。就能够利用它来猜測其它例子出现的概率了。
这属于应用了)
參数预计的方法有多种,这里我们分析三种基于概率的方法。各自是最大似然预计(Maximum Likelihood)、贝叶斯预计(Bayes)和最大后验预计(Maximum a posteriori)。我们如果我们观察的变量是,观察的变量取值(样本)为,要预计的參数是。的分布函数是(我们用条件概率来显式地说明这个分布是依赖于取值的)。
实际中,和都能够是几个变量的向量,这里我们最好还是觉得它们都是标量(theta若是标量求导。若是向量求偏导)。
这里的p(x|θ)能够是高斯分布或其它分布。
- 最大似然预计 Maximum Likelihood (ML)
“likelihood/似然”的意思就是“事件(即观察数据)发生的可能性”。最大似然预计就是要找到的一个预计值,使“事件发生的可能性”最大。也就是使最大。一般来说,我们觉得多次取样得到的是独立同分布的(iid),这样
因为一般都比較小,且N一般都比較大,因此连乘easy造成浮点运算下溢,所以通常我们都去最大化相应的对数形式
详细求解释时。可对右式对求导数。然后令为0。求出值即为。
最大似然预计属于点预计,只能得到待预计參数的一个值。
(1) 可是在有的时候我们不只希望知道,我们还希望知道取其他值得概率。即我们希望知道整个在获得观察数据后的分布情况. (2) 最大似然预计只依据(有限的)观察数据对整体分布进行预计,在数据量不大的情况下。可能不准确。比如我们要预计人的平均体重,可是抽样的人都是小孩。这样我们得到的平均体重就不能反映整体的分布,而我们应该把“小孩之占总人口20%”的先验考虑进去。
这时我们能够用贝叶斯方法。
- 贝叶斯预计 Bayes
使用Bayes公式,我们能够把我们关于的先验知识以及在观察数据结合起来,用以确定的后验概率:
当中是累积因子,以保证和为1。
要使用Bayes方法,我们需有关于的先验知识,即不同取值的概率。比方表示下雨。表示不下雨,依据以往的经验我们大体上有、,在这样的知识不足的时候,能够如果是均匀分布的。即取各值的概率相等。
在某个确定的取值下。事件x的概率就是,这是关于的函数,比方一元正态分布。
与上一节中的一样,我们觉得各次取样是独立的。能够分开来写,这样我们就能够得到的一个表达式。不同的相应不同的值。
依据获得的,我们边能够取使其最大化的那个取值。记为。可能有人已经看出问题来了:我们做了非常多额外功,为了求得一个,我们把取其他值的情况也考虑了。
当然在有的时候分布是实用的,可是有的时候我们取并不须要知道。我们仅仅要那个。
最大后验预计这个时候就上场了。
备注:贝叶斯预计则把待预计的參数看成是符合某种先验概率分布的随机变量。
对样本进行观測的过程,就是把先验概率密度转化为后验概率密度,这样就利用样本的信息修正了对參数的初始预计值。
在贝叶斯预计中。一个典型的效果就是。每得到新的观測样本。都使得后验概率密度函数变得更加尖锐,使其在待估參数的真实值附近形成最大的尖峰。
- 最大后验预计 MAP
最大后验预计运用了贝叶斯预计的思想。可是它并不去求解。而是直接获得。从贝叶斯预计的公式能够看出,是与无关的,要求得使最的的,等价于求解以下的式子:
与最大似然预计中一样,我们通常最大化相应的对数形式:
这样,我们便无需去计算,也不须要求得详细的部分,便能够得到想要的。
和最大似然非常相似,也是假定參数未知,可是为确定数值。
仅仅是优化函数为后验概率形式,多了一个先验概率项。
差别与总结:
而是找到全部可能的參数值及其对应的可信值(暂且怎么称呼吧)。
这样你就能够知道不同參数值的可信程度。
比如:①有三个分别为0.8,0.05,0.05; 则决然的选最大的0.8。比如②三个參数值的可信值为0.4,0.39。 0.39; 则选第一个參数值就要谨慎了。
总结:
三种方法各有千秋,使用于不同的场合。当对先验概率的预计没有信心。能够使用最大似然预计(当然也能够使用其他两种)。贝叶斯预计得到了后验概率的分布,最大似然预计适用于仅仅须要知道使后验概率最大的那个。整体上。极大似然计算简单。而贝叶斯在某些特殊情况下,效果好于极大似然。
另外一方面,我们能够感觉到。最大似然预计和Bayes/MAP有非常大的不同。原因在于后两种预计方法利用了先验知识,假设利用恰当,能够得到更好的结果。事实上这也是两大派别(Frequentists and Bayesians)的一个差别。
最后附上一张參数预计与非參数预计的对照图:
图片版: