分类算法之贝叶斯(Bayes)分类器
摘要：旁听了清华大学王建勇老师的 数据挖掘：理论与算法 的课,讲的还是挺细的,好记性不如烂笔头,在此记录自己的学习内容,方便以后复习。
一：贝叶斯分类器简介
1）贝叶斯分类器是一种基于统计的分类器,它根据给定样本属于某一个具体类的概率来对其进行分类。
2）贝叶斯分类器的理论基础是贝叶斯理论。
3）贝叶斯分类器的一种简单形式是朴素贝叶斯分类器,跟随机森林、神经网络等分类器都有可比的性能。
4）贝叶斯分类器是一种增量型的分类器。
二：贝叶斯理论
第一次接触贝叶斯还是本科学概率论的时候,那时候也就只知道做题目,没想到现在还能够在工作和学习中用到它,先复习下相关的基础概率公式吧：
1) 乘法定理：设P（B）>0,则有P(AB) = P(A|B)P(B).
2) 全概率公式：设试验E的样本空间为S,A为E的事件,若事件组B1,B2,…,Bn为S的一个划分,且P（Bi）> 0(i=1,2,…,n),则有
P(A) = P(A|B1)P(B1) + P(A|B2)P(B2) + …+ P(A|Bn)P(Bn).
注：在很多事件问题中P(A)不容易算出来,但是可以很容易的找到S的一个划分:B1,B2,…,Bn,并且P(Bi)和P(A|Bi)为已知或者容易算出,那么就可以根据上式求出P(A).
3）贝叶斯公式：设试验E的样本空间为S,A为E的事件,B1,B2…,Bn为S的一个划分,且P(A)>0,P(Bi)>0(i=1,2,…,n),则有
P(Bi|A) = P(ABi)/P(A) = P(A|Bi)P(Bi)/∑P(A|Bi)P(Bi),i=1,2,…n.
举例：
X是一个待分类的数据元组,由n个属性描述；H是一个假设,例如X属于类C。对于分类问题,我们想计算出概率P(H|X):即已知元组X的每个元素对应的属性值,求出X属于C类的概率。
例如：X的属性值为：age=25,income=$5000,H对应的假设是：X会买电脑。
P(H|X)：意思是在已知某客户信息age=25,income=$5000的条件下,该客户会买电脑的概率。
P(H):意思是对于任何给定的客户信息，该客户会购买电脑的概率。
P(X|H)：意思是已知客户会买电脑，那么该客户的age=25,income=$5000的概率。
P(X):意思是在我们所有的客户信息集合中,客户的age=25,income=$5000的概率。
所以：P(H|X) = P(X|H)P(H)/P(X)
三：朴素贝叶斯分类器
朴素贝叶斯分类器的工作流程如下：
1：设D为样本训练集；每一个样本X是由n个属性值组成的，X=(x1,x2,…xn)；对应的属性集为A1,A2,A3…An;
2: 假设有m个类标签:C1,C2,…Cm.对于某待分类元X,朴素分类器会把P(Ci|X)(i=1,2,…m)值最大的那个类标签Ci认为是X的类别,即朴素贝叶斯分类器预测出X属于类Ci,当且仅当P(Ci|X)>P(Cj|X) (1≤j≤m,j≠i).因此我们的目标就是找出P(Ci|X)中的最大值。
P(Ci|X) = P(X|Ci)P(Ci)/P(X)
对于给定的样本集，P(X)是常数，跟某个具体的类标签没有关联，所以要想找出P(Ci|X)的最大值也就是找出P(X|Ci)P(Ci)的最大值：
如果我们不知道P(Ci)的值，我们可以假设P(C1)=P(C2)=…=P(Cm),当然P(Ci)可以通过估计值来代替,P(Ci)=|Ci, D| /|D|
其中|D|为样本总数，|Ci,D|为D中属于类Ci的样本数。
3：如果n的值特别大,也就是说样本元有很多属性,那么对于P(X|Ci)的计算会相当复杂。所以在朴素贝叶斯中进行了一个假设：即对于样本元中的每个属性,它们都互相条件独立。
所以有： 
对于P(xi|Ci)我们可以从训练集中算出来,其中xi代表在某个具体样本中对应属性Ai的值。
P(xi|Ci)的计算分为两种情况：
1):如果属性Ai的值是分类变量(离散变量),那么P(xi|Ci)等于训练样本空间|D|中,属于类Ci并且对应属性Ai的值等于xi的数目除以样本空间中属于类Ci的样本数目。
2):如果Ai的值是连续型的变量,则P(xi|Ci)的计算会根据高斯分布来计算,设其中均值为μ,标准方差为σ：
4：为了预测X所属的类标签,我们根据前面的步骤可以算出每一个类标签Ci对应的P（X|Ci)P(Ci)值，当某一个类标签Ci有：
P(X|Ci)P(Ci)>P(X|Cj)P(Cj) 对于任意j： 1≤j≤m,j≠i
则我们认为X属于类标签Ci.
四：具体例子分析
这里我们还是用 分类算法之决策树 中的样本数据来进行举例：
样本空间D如下表所示：其中 |D|=14.
属性集合为A{age,come,student,credit_rating} 对应的属性个数n=4.
分类属性为：buys_computer,值为{yes,no} 即C1：buys_computer = yes;C2: buys_computer = no; 分类标签个数 m = 2;
有一待分类的数据元X={age<=30,income=medium,student=yes,credit_rating=fail}.
则根据朴素贝叶斯分类器的工作流程我们可以计算出：
P(Ci):
P(buys_computer = “yes”) = 9/14 = 0.643
P(buys_computer = “no”) = 5/14= 0.357
P(xi|Ci):
P(age = “<=30” | buys_computer = “yes”) = 2/9 = 0.222
P(age = “<= 30” | buys_computer = “no”) = 3/5 = 0.6
P(income = “medium” | buys_computer = “yes”) = 4/9 = 0.444
P(income = “medium” | buys_computer = “no”) = 2/5 = 0.4
P(student = “yes” | buys_computer = “yes) = 6/9 = 0.667
P(student = “yes” | buys_computer = “no”) = 1/5 = 0.2
P(credit_rating = “fair” | buys_computer = “yes”) = 6/9 = 0.667
P(credit_rating = “fair” | buys_computer = “no”) = 2/5 = 0.4
P(X|Ci):
P(X|buys_computer = “yes”) = 0.222 x 0.444 x 0.667 x 0.667 = 0.044
P(X|buys_computer = “no”) = 0.6 x 0.4 x 0.2 x 0.4 = 0.019
P(X|Ci)*P(Ci) :
P(X|buys_computer = “yes”) * P(buys_computer = “yes”) = 0.028
P(X|buys_computer = “no”) * P(buys_computer = “no”) = 0.007
因为0.28>0.007所以X属于类：buys_computer = “yes”.
五：朴素贝叶斯存在的问题
1：零概率问题
在上述的例子中假设在样本数据集中income = medium的样本数为0,那么P(income = “medium” | buys_computer = “yes”) 和
P(income = “medium” | buys_computer = “no”) 都将为0,那么在计算P(X|Ci)*P(Ci)时结果也为0，这样就不好决定X是属于哪一个类。
对于这样的问题的一个解决方案叫做：Laplacian correction或者Laplacian estimator,是以一位法国数学家Pierre Laplace名字命名的。
它的具体做法就是给相应的属性的不同值数目都加1:
假设：有1000个训练样本,其中income=low的数目为10,income=medium的数目为0，income=high的数目为990，则为了避免零概率问题，我们给每一种income的数目加1，及最后结果为 income =medium的数目为1，low的数目为11，high的数目为991.这样也就避免了零概率问题。
2：准确度问题
朴素贝叶斯分类器是基于样本属性条件独立的假设的前提下的,但是实际情况可能并不成立，这样也就缺失准确性了.
解决朴素贝叶斯准确性问题提出的一种方法叫做：贝叶斯网络（Bayesian Belief Networks ）.这个方法留着下次学习。
