朴素贝叶斯法

一、朴素贝叶斯法

　　朴素贝叶斯naive bayes是基于贝叶斯定力与特征条件独立假设的分类方法，与贝叶斯估计是不同的概念。

　　对于给定的训练数据集，基于特征条件独立假设学习输入输出的联合概率分布，然后基于此模型，对给定的输入x，利用贝叶斯定力求出后验概率最大的输出y。

　　先验概率分布P(Y=c_k)，条件概率分布P(X=x|Y=c_k)，学习到联合概率分布P（X,Y）。

　　朴素贝叶斯对条件概率分布做了条件独立性假设，是一个较强的假设：用于分类的特征在类确定的条件下都是条件独立的。

　　

　　后验概率计算：

　　

　　朴素贝叶斯将实力分到后验概率最大的类中，等价于期望风险最小化。

二、参数估计

　　1、极大似然估计

　　先验概率和条件概率的极大似然估计是

　　

　　

 　　2、贝叶斯估计

　　用极大似然估计可能会出现所要估计的概率值为0的情况，影响后验概率的计算，解决这一方法采用贝叶斯估计，先验概率和条件概率的贝叶斯估计是：

　　

　　

　　λ≥0，在随机变量各个取值的频数上赋予一个整数，常取λ=1称为拉普拉斯平滑。