MLE和MAP

MAP Maxium a Posterior 最大后验概率

MLE Maxium Likelihood Estimator 极大似然估计

给定样本\(\mathcal{D} = \\{ x_i\\}_i^N\)是独立的，依概率\(P(x|y)\)抽样得到。那么求解
[
y^{\star} = \arg \max_y ln P(\mathcal{D} | y) = \sum_{i=1}^N ln p(x_i | y)
]
的过程是MLE，根据贝叶斯公式
[
P(y|x) = \frac{P(x,y)}{P(x)} = \frac{P(x|y)p(y)}{\sum_y P(x|y)p(y)}
]
求
[
\max ln P(y|x)
]
的过程是MAP，且当\(P(y)\)已知时，由
[
\max ln P(y|x) = P(y) ln P(x|y)
]
知MLE和MAP相同。