最大后验估计MAP

目录

• 贝叶斯定理
• 最大似然估计MLE
• 最大后验估计MAP
• 参考

贝叶斯定理#

• P(A)表示A发生的概率
• P(B)表示B发生的概率
• P(A|B)表示A在B条件下发生的概率
• P(B|A)表示B在A条件下发生的概率

$$P(A|B)=\frac{P(B|A)\times P(A)}{P(B)}$$

最大似然估计MLE#

最大似然估计是求估计的方法之一。简单来讲，极大似然估计就是给定模型，然后通过收集数据，求该模型的参数。
比如例如，投10次特殊的硬币（给定模型），出现6次正面4次反面（请注意，这里10次结果有顺序，后面所有的投硬币结果，都有顺序）（收集数据），现在要估计投这枚硬币出现正面的概率（求参数）。
我们根据平常的知识知道，一枚普通硬币出现正面的概率是0.5。但是这里是一枚特殊的硬币，所以出现正面的概率不一定是0.5.根据直觉猜一下可能是0.6。但是，我们缺乏了一个数学描述，而最大似然估计就是给了一个这样的描述：

• 使用$\theta$表示出现正面的概率
• 则似然函数可以表示为

$$f(\theta )=\theta^6(1-\theta )^4$$

• 最大化这个似然函数，也就是求这个函数的极大值点:

$$argmax_\theta f(\theta )$$

• 对数化：

$$argmax_\theta lnf(\theta )$$

• 最终可以求得$\theta$=0.6
  如果未知参数有多个，则需要用取对数的似然函数对每个参数进行求偏导，使得所有偏导均为0的值，即为该函数的极值点，一般也是其最大似然估计值。

最大后验估计MAP#

对于最大后验概率估计，我们先进行通俗简单的理解，还是以刚才的那个问题为例，投10次硬币，结果分别是x0,x1,…,x9，出现了6次正面，4次反面。
  现在，有两个人A和B，其中A觉得那枚硬币，它就是一个一般的硬币，出现正面的概率θ = 0.5。而B觉得，它是一个特殊的硬币，出现正面的概率θ = 0.6。
  最大后验概率就是把他们的假设都进行计算（验算），然后选择其中假设最好的一个，当作最大后验概率。
假设1：

$$P(x_0,x_1,x_2,...,x_9|\theta)=\theta^6(1-\theta )^4=0.5^6*0.5^4\approx 0.00097656$$

假设2：

$$P(x_0,x_1,x_2,...,x_9|\theta)=\theta^6(1-\theta )^4=0.6^6*0.4^4\approx 0.00119439$$

所以我们认为假设2比假设1的可能性更大。
最大后验概率估计就是在已知一系列结果的情况下，求参数可能的最大的那一个，也就是求解下面式子：

$$argmax_\theta P(\theta |x_0,x_1,x_2,...,x_n)$$

可以转换为贝叶斯求解：

$$argmax_\theta P(\theta |x_0,x_1,x_2,...,x_n)=\frac{P(x_0,x_1,x_2,...,x_n|\theta )\times P(\theta)}{P(x_0,x_1,x_2,...,x_n)}$$

有的时候，${P(x_0,x_1,x_2,...,x_n)}$是已知的或者固定的，可以视为
$argmax_\theta P(\theta |x_0,x_1,x_2,...,x_n)$等价于$P(x_0,x_1,x_2,...,x_n|\theta )\times P(\theta)$

参考#

https://blog.csdn.net/fq_wallow/article/details/104383057