Machine Learning in Action(3) 朴素贝叶斯算法
贝叶斯决策一直很有争议，今年是贝叶斯250周年，历经沉浮，今天它的应用又开始逐渐活跃，有兴趣的可以看看斯坦福Brad Efron大师对其的反思，两篇文章：“Bayes'Theorem in the 21st Century”和“A250-YEAR ARGUMENT:BELIEF, BEHAVIOR, AND THE BOOTSTRAP”。俺就不参合这事了，下面来看看朴素贝叶斯分类器。
有时我们想知道给定一个样本时，它属于每个类别的概率是多少,即P(Ci|X),Ci表示类别，X表示测试样本，有了概率后我们可以选择最大的概率的类别。要求这个概率要用经典贝叶斯公式，如（公式一）所示：
（公式一）
（公式一）中的右边每项一般都是可以计算出的，例如（图一）中两个桶中分别装了黑色（Black）和灰色(Grey)的球。
（图一）
假设Bucket A和BucketB是类别，C1和C2，当给定一个球时，我们想判断它最可能从哪个桶里出来的，换句话说是什么类别？这就可以根据（公式一）来算，（公式一）的右边部分的每项都可以计算出来，比如P(gray|bucketA)=2/4，P(gray|bucketB)=1/3，更严格的计算方法是:
P(gray|bucketB) = P(gray andbucketB)/P(bucketB),
而P(gray and bucketB) = 1/7，P(bucketB)= 3/7
那么P(gray|bucketB)=P(gray and bucketB)/ P(bucketB)=(1/7)/(3/7)=1/3
这就是朴素贝叶斯的原理，根据后验概率来判断，选择P(Ci|X)最大的作为X的类别Ci,另外朴素贝叶斯只所以被称为朴素的原因是，它假设了特征之间都是独立的，如（图二）所示：
（图二）
尽管这个假设很不严密，但是在实际应用中它仍然很有效果，比如文本分类，下面就来看下文本分类实战，判断聊天信息是否是辱骂（abusive）信息(也就是类别为两类，是否辱骂信息)，在此之前，先强调下，朴素贝叶斯的特征向量可以是多维的，上面的公式是一维的，二维的如（公式二）所示，都是相同的计算方法：
（公式二）
对文本分类，首先的任务就是把文本转成数字向量，也就是提取特征。特征可以说某个关键字在文章中出现的次数(bag of words),比如垃圾邮件中经常出现“公司”，“酬宾”等字样，特征多样，可以根据所需自己建立特征。本例子中采用标记字（token）的方法，标记字可以是任何字符的组合，比如URL,单词，IP地址等，当然判断是否是辱骂信息大多数都是类似于单词的形式。下面来根据代码说下：
首先我们获取一些训练集：
1 from numpy import * 2 3 def loadDataSet(): 4 postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], 5 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'], 6 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'], 7 ['stop', 'posting', 'stupid', 'worthless', 'garbage'], 8 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'], 9 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']] 10 classVec = [0,1,0,1,0,1] #1 is abusive, 0 not 11 return postingList,classVec
训练集是从聊天室里摘取的6句话，每句话都有一个标签0或者1，表示是否是辱骂信息（abusive or not abusive）。当然可以把每个消息看成是一个文档，只不过文档单词比这个多，但是一样的道理。接下来处理训练集，看看训练集有多少个不同的（唯一的）单词组成。代码如下：
1 def createVocabList(dataSet): 2 vocabSet = set([]) #create empty set 3 for document in dataSet: 4 vocabSet = vocabSet | set(document) #union of the two sets 5 return list(vocabSet)
该函数返回一个由唯一单词组成的词汇表。接下来就是特征处理的关键步骤，同样先贴代码：
1 def setOfWords2Vec(vocabList, inputSet): 2 returnVec = [0]*len(vocabList) 3 for word in inputSet: 4 if word in vocabList: 5 returnVec[vocabList.index(word)] = 1 6 else: print "the word: %s is not in my Vocabulary!" % word 7 return returnVec
这个函数功能：输入词汇表和消息，通过逐个索引词汇表，然后看消息中的是否有对应的字在词汇表中，如果有就标记1，没有就标记0，这样就把每条消息都转成了和词汇表一样长度的有0和1组成的特征向量，如（图三）所示：
（图三）
有了特征向量，我们就可以训练朴素贝叶斯分类器了，其实就是计算（公式三）右边部分的三个概率，（公式三）如下：
（公式三）
其中w是特征向量。
代码如下：
1 def trainNB0(trainMatrix,trainCategory): 2 numTrainDocs = len(trainMatrix) 3 numWords = len(trainMatrix[0]) 4 pAbusive = sum(trainCategory)/float(numTrainDocs) 5 p0Num = ones(numWords); p1Num = ones(numWords) #change to ones() 6 p0Denom = 2.0; p1Denom = 2.0 #change to 2.0 7 for i in range(numTrainDocs): 8 if trainCategory[i] == 1: 9 p1Num += trainMatrix[i] 10 p1Denom += sum(trainMatrix[i]) 11 else: 12 p0Num += trainMatrix[i] 13 p0Denom += sum(trainMatrix[i]) 14 p1Vect = log(p1Num/p1Denom) #change to log() 15 p0Vect = log(p0Num/p0Denom) #change to log() 16 return p0Vect,p1Vect,pAbusive
上面的代码中输入的是特征向量组成的矩阵，和一个由标签组成的向量，其中pAbusive是类别概率P(ci)，因为只有两类，计算一类后，另外一类可以直接用1-p得出。接下来初始化计算p(wi|c1)和p(wi|c0)的分子和分母，这里惟一让人好奇的就是为什么分母p0Denom和p1Denom都初始化为2？这是因为在实际应用中，我们计算出了（公式三）右半部分的概率后，也就是p(wi|ci)后，注意wi表示消息中的一个字，接下来就是判断整条消息属于某个类别的概率，就要计算p(w0|1)p(w1|1)p(w2|1)的形式，这样如果某个wi为0，这样整个概率都为0，或者都很小连乘后会更小，甚至round off 0。这样就会影响判断，因此把他们转到对数空间中来做运算，对数在机器学习里经常用到，在保持单调的情况下避免因数值运算带来的歧义问题，而且对数可以把乘法转到加法运算，加速了运算。因此上面的代码中把所有的出现次数初始化为1，然后把分母初始为2，接着都是累加，在对数空间中从0还是1开始累加，最后比较大小不会受影响的。
最后贴出分类代码：
1 def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1): 2 p1 = sum(vec2Classify * p1Vec) + log(pClass1) #element-wise mult 3 p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1) 4 if p1 > p0: 5 return 1 6 else: 7 return 0
分类代码也是在对数空间中计算的后验概率，然后通过比较大小来判断消息属于那一类。
总结：
优点：对小量数据很有效，可以处理多类
缺点：很依赖于数据的准备
朴素贝叶斯在概率图模型里被划为判别模型（Discriminative model)
以上内容来至群友博客:http://blog.csdn.net/marvin521
Ps:又见贝叶斯~之前，在machine learning for hacker里面有一篇关于Rstyle的贝叶斯，该算法简单高效，常用于spam检测和文本挖掘，像mahout里面的bayes就是为文本挖掘量身打造的。算法要求属性集是离散的，那么面对连续性的属性时，就要预先采用离散化了，可以结合连续型变量的分布用简单的分桶，最大描述准则(MDL)或者熵等等方法离散。
