上学期，在学习《信号检测与估计理论》这门课程是就接触了：
最大后验估计（maximum a posteriori probability estimate, 简称MAP）和最大似然估计（maximum-likelihood estimation, 简称MLE）。
学的时候没打弄明白其原理，就会按照书上的例子，照猫画虎，应付一下考试！不过最近要用到这两个东西了，所以从新学习了。
其实这两个参数估计方法计算起来都很简单。关键在于如何理解其原理，就是要问一下：问什么要这么估计？这么估计有什么道理在？
下面是我自己的理解，说得过去，但不知道对不对？
假设你得到某个或者某些特定的观察数据 x，然后需要根据x ，估计未知的总体参数 θ。
一个自然的想法就是：在所有可能的θ取值中，逐个寻找，直到找到一个值
，能够让你获得观测数据x的“可能性”最大。
实际上就是寻找θ使概率P(x, θ)最大。
对于MAP来说，θ是已知先验概率密度函数P(θ)的随机变量。
对于MLE来说，θ是非随机变量或者分布未知的随机变量，这两种情况都可以认为P(θ)均匀分布的，即P(θ)=C。
下面来个具体的例子：
假设有五个袋子，各袋中都有无限量的饼干(樱桃口味或柠檬口味)，已知五个袋子中两种口味的比例分别是
樱桃 100%
樱桃 75% + 柠檬 25%
樱桃 50% + 柠檬 50%
樱桃 25% + 柠檬 75%
柠檬 100%
如果只有如上所述条件，那问从同一个袋子中连续拿到2个柠檬饼干，那么这个袋子最有可能是上述五个的哪一个？
我们首先采用最大似然估计来解这个问题，写出似然函数。假设从袋子中能拿出柠檬饼干的概率为p(我们通过这个概率p来确定是从哪个袋子中拿出来的)，则似然函数可以写作
由于p的取值是一个离散值，即上面描述中的0,25%，50%，75%，1。我们只需要评估一下这五个值哪个值使得似然函数最大即可，得到为袋子5。这里便是最大似然估计的结果。
上述最大似然估计有一个问题，就是没有考虑到模型本身的概率分布，下面我们扩展这个饼干的问题。
假设拿到袋子1或5的机率都是0.1，拿到2或4的机率都是0.2，拿到3的机率是0.4，那同样上述问题的答案呢？这个时候就变MAP了。我们根据公式写出我们的MAP函数。
根据题意的描述可知，p的取值分别为0,25%，50%，75%，1，g的取值分别为0.1，0.2,0.4,0.2,0.1.分别计算出MAP函数的结果为：0,0.0125,0.1,0.1125,0.1.
由上可知，通过MAP估计可得结果是从第四个袋子中取得的最高。
