在统计学中,最大后验概率(MAP) 估计可以用于未知参量的点估计,它和最大似然估计maximum likelihood (ML)的Fisher方法差不多,但是这里的后验概率的最大化是和先验分布紧密相关的。故而MAP可以看作是ML估计的正则化。
假设我们要根据观测变量x估计参量 θ,并假设x的采样分布是f,那么基于θ的x的条件概率为 f(x | θ) 于是就有似然函数 ,估计
作为θ的最大似然估计。
现在假设参数 θ的先验概率是已知的,我们就可以把θ当作贝叶斯统计(Bayesian statistics)中的随机变量来处理。后验概率就可以表示为:
其中g的定义域为Θ,这是贝叶斯定理的直接应用。将基于θ的最大后验概率就看作是随机变量x的后验分布:
上式中后验概率的分母就和θ没有任何关系了,因而在优化过程中不起任何作用。可以发现 MAP的θ的先验分布为均匀分布时,和MLE是一致的。
MAP计算方法:
1、当后验概率可以表达成闭型形式时,则可以通过求导的方法求解;
2、通过数值计算来优化,常用的方法有共轭梯度法和牛顿法,但是这些方法往往涉及到比较繁琐的一阶和二阶导数;
3、通过改进型的最大期望算法,不需要计算后验概率的导数。
评价:在贝叶斯方法中,像MAP这样通过先验概率来求解后验模式的方法并不多见,MAP是一种点估计,一般的贝叶斯方法是根据分布来提取数据的特征的。尤其是在后验概率并不是一个简单的分析形式,此时可以通过蒙特卡罗来模拟,但是要想获取其分布类型是很困难的。