模式识别概念梳理
贝叶斯决策论，作为解决模式识别问题的一种基本的统计途径，其假设决策的问题可以用概率的形式表示，并且假设所有有关的概率结构均已知。
根据贝叶斯公式，可以知道后验概率可以表示成似然函数和先验概率的乘积形式（证据对于每个类别都是相通的，所以在决策过程中可以忽略）。贝叶斯决策一般是用于分类场景，我们根据每个类别对应的后验概率对样本作出分到哪一类的决策，这件事的前提是我们已知了数据的分布形式以及相关参数。
而在大多数情况下，我们在做贝叶斯决策的时候，拿到的数据只是一个总体分布下的采样样本，我们需要根据样本的分布来估计总体的分布，从而代入贝叶斯决策那一套框架中进行决策，这种情况我们称之为参数估计。我们一般会假设总体分布的形式以及参数的数目已知。根据我们对参数的假设，又将参数估计分为最大似然估计和贝叶斯估计。在最大似然估计中，我们把待估参数看作是确定性的量，只是取值未知，而贝叶斯估计则是将待估参数看作随机变量，估计其后验分布。
在上述参数估计的时候，我们给出的一个假设是已知总体分布的形式，而在大多数模式识别问题中，我们给出的总体分布的形式往往不符合真实分布，这样我们再做决策则会出现比较大概率的误分类。因此，我们需要讨论非参数方法。比如，从训练样本中直接估计出概率密度函数\(p(\mathbf x|\omega_j)\)或者是直接估计出后验概率\(P(\omega_j|\mathbf x)\)。还有更为常见的方法，是直接假设判别函数参数形式已知，用训练的方法来估计判别函数的参数值，在此过程中我们不需要知道有关的概率密度函数的确切参数形式。
参考
Pattern Classification. Richard O.Duda
