朴素贝叶斯
基本思想
朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法 。
基本方法
定义输入空间 (
维向量集合),输出空间
。
输入:特征向量 ,输出:类别标记
;
是
和
的联合概率分布。
训练集
由独立同分布产生。
由于,故我们必须先学得先验概率分布和条件概率分布。
先验概率分布:
条件概率分布:
注:条件概率分布有指数级的参数数量,不能直接估计(假设
可取值有
个,Y的可能取值有K个,则参数个数为
)
朴素贝叶斯法对条件概率分布作出了条件独立性的假设 。具体地,条件独立性假设是 :
朴素贝叶斯法分类时,对给定的输入x,通过学习到的模型计算后验概率分布 ,将后验概率最大的类作为x的类输出 。后验概率计算根据 贝叶斯定理进行 :
这便是朴素贝叶斯法分类的基本公式。于是,朴素贝叶斯分类器可以表示为
注意到,上式中分母对所有都是相同的,所以:
x⊆Rn
x⊆Rn
x⊆Rn