仅显示标题浏览

Bati's eHome of Tech

  :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: :: 管理 ::

  在统计学中,最大后验概率(MAP) 估计可以用于未知参量的点估计,它和最大似然估计maximum likelihood (ML)Fisher方法差不多,但是这里的后验概率的最大化是和先验分布紧密相关的。故而MAP可以看作是ML估计的正则化。

  假设我们要根据观测变量x估计参量 θ,并假设x的采样分布是f,那么基于θx的条件概率为 f(x | θ) 于是就有似然函数 \theta \mapsto f(x | \theta) \! ,估计

 

       \hat{\theta}_{\mathrm{ML}}(x) = \arg\max_{\theta} f(x | \theta) \!

 

作为θ的最大似然估计。

现在假设参数 θ的先验概率是已知的,我们就可以把θ当作贝叶斯统计(Bayesian statistics)中的随机变量来处理。后验概率就可以表示为:

 

\theta \mapsto \frac{f(x | \theta) \, g(\theta)}{\int_{\Theta} f(x | \theta') \, g(\theta') \, d\theta'} \! 

 

其中g的定义域为Θ,这是贝叶斯定理的直接应用。将基于θ的最大后验概率就看作是随机变量x的后验分布:

\hat{\theta}_{\mathrm{MAP}}(x) = \arg\max_{\theta} \frac{f(x | \theta) \, g(\theta)} {\int_{\Theta} f(x | \theta') \, g(\theta') \, d\theta'} = \arg\max_{\theta} f(x | \theta) \, g(\theta) \!

 

上式中后验概率的分母就和θ没有任何关系了,因而在优化过程中不起任何作用。可以发现 MAPθ的先验分布为均匀分布时,和MLE是一致的。

 

MAP计算方法:

1、当后验概率可以表达成闭型形式时,则可以通过求导的方法求解;

2、通过数值计算来优化,常用的方法有共轭梯度法和牛顿法,但是这些方法往往涉及到比较繁琐的一阶和二阶导数;

3、通过改进型的最大期望算法,不需要计算后验概率的导数。

 

评价:在贝叶斯方法中,像MAP这样通过先验概率来求解后验模式的方法并不多见,MAP是一种点估计,一般的贝叶斯方法是根据分布来提取数据的特征的。尤其是在后验概率并不是一个简单的分析形式,此时可以通过蒙特卡罗来模拟,但是要想获取其分布类型是很困难的。

posted on 2008-03-28 16:46  Bati  阅读(3018)  评论(1编辑  收藏  举报