统计学习方法第四章朴素贝叶斯法-李航
第4章 朴素贝叶斯法
朴素贝叶斯 (naive Bayes) 法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出Y。
4.1 朴素贝叶斯法的学习与分类
基本方法
朴素贝叶斯法通过训练数据集学习X和Y的联合概率分布
下先验概率分布及条件概率分布。P(X,Y)。
具体地，学习以
先验概率分布
条件概率分布
条件概率分布有指数级数量的参数，其估计实际是不可行的。朴素贝叶斯法对条件概率分布作了条件独立性的假设。条件独立性假设是说用于分类的特征在类确定的条件下都是条件独立的。
朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型。
朴素贝叶斯法通过最大后验概率(MAP)准则进行类的判决，基于贝叶斯定理，后验概率为：
分母相同，则分类器可表示为
后验概率最大化等价于0-1损失函数时的期望风险最小化。
4.2 朴素贝叶斯法的参数估计
极大似然估计
先验概率的极大似然估计：
设第j个特征x(j)可能取值的集合为
，条件概率的极大似然估计：
，条件概率的极大似然估计：
总结算法：
贝叶斯估计
用极大似然估计可能会出现所要估计的概率值为0的情况，使分类产生偏差，解决这一问题的方法是采用贝叶斯估计。条件概率的贝叶斯估计为：
式中lamda>=0。等价于在随机变量各个取值的频数上赋予一个正数。常取lamda=1，称为拉普拉斯平滑( Laplace smoothing)。同样，先验概率的贝叶斯估计为：
