朴素贝叶斯分类器

预备知识：

贝叶斯公式：A、B事件。在A发生条件下B发生的概率=在B发生条件下A发生的概率*B发生的概率/A发生的概率

P(B|A)=P(A|B)P(B) / P(A)

 

全概率公式：

特别的，设实验E的样本空间为S,A为E的事件,B1,B2,...,Bn为S的一个划分,且P(Bi)>0(i=1,2,...,n)，则有P(A)=P(A|B1)*P(B1) + P(A|B2)*P(B2) + ... + P(A|Bn)*P(Bn)

 

故有贝叶斯的另一种形式：

P(B[j]|A[i])=P(A[i]|B[j])P(B[j])/ ∑P(A[i]|B[j])P(B[j])

 

朴素贝叶斯分类器假设公式：

朴素贝叶斯是基于一个简单假设所建立的一种贝叶斯方法，朴素贝叶斯假定样本的不同特征属性对样本的归类影响时相互独立的。此时若样本A中同时出现特征Ai与Ak,则样本A属于类别Bj的概率为：

P(Bj|A) = P(Bj|Ai,Ak) = P(Bj|Ai)P(Bj|Ak)

 

朴素贝叶斯的实现算法：

 

 

 

朴素贝叶斯存在的问题：

1.零概率问题。

解决方法：为相应的属性的不同值数目都+1。

2.准确度问题。

原因：贝叶斯分类器是基于样本属性条件独立的假设前提。

解决方法：贝叶斯网络。

 

关于贝叶斯分类学习：

http://group.cnblogs.com/topic/40112.html

http://www.360doc.com/content/13/1206/09/13528701_334876915.shtml

http://blog.csdn.net/owengbs/article/details/41421301