统计学习方法四：朴素贝叶斯

结合之前的部落格：http://www.cnblogs.com/naonaoling/p/4174494.html

一、什么是朴素贝叶斯？

朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法。
对于给定的数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y

特征：
（1）多分类
（2）生成学习方法

二、学习与分类

1、条件独立性
    朴素贝叶斯法对条件概率分布作了条件独立性的假设。朴素就朴素在这...
    所谓的条件独立性就是说用于分类的特征在类确定的条件下都是条件独立的，各个特征不会相互影响。
    P(A,B|C) = P(A|C)*P(B|C)

2、后验概率最大化
   通过推理..可得出：后验概率最大化等价于0-1损失函数时的期望风险最小化
   后验概率最大化：将实例分到后验概率最大的类中

三、参数估计

1、极大似然估计
2、贝叶斯估计
    在极大似然估计中加入一个参数，避免极大似然估计可能出现的概率为0的情况