《机器学习实战》第4章——朴素贝叶斯（笔记）
1 朴素贝叶斯
是一种简单但极为强大的预测建模算法，之所以成为朴素，是因为它假设每个输入变量是独立的。这个假设在现实生活中不可能满足，但是这项技术对于绝大部分的复杂问题仍然非常有效。
朴素贝叶斯模型由两种类型的概率组成：
1、每个类别的概率P(Cj)
2、每个属性的条件概率P(Ai|Cj)
举例：
我们回归到贝叶死的案例中来，类型概率是患病，不患病；条件概率是：患病的条件下，被检查出阳性的概率，不患病的条件下，检查出阳性的概率（误诊的概率）。
要求的被检查出阳性，那么患病的概率（贝叶斯是求后验概率–知道结果，推测原因的概率，“求什么什么是类别，其它的就是属性条件”！）
2 朴素贝叶斯分类应用场合
常用于文本分类（尤其对于英文等语言分类，分类效果很好）、垃圾文本过滤（如电子邮件垃圾过滤）、情感预测、系统推荐等。
步骤
1：准备
需要确定特征属性，并对每个特征属性进行适当划分，然后由人工对一部分数据进行分类，形成训练样本；分类器的质量很大程度上有特征、特征属性划分以及训练样本质量决定。
2：训练
目的：生成分类器，主要工作是计算每个类别在训练样本中的出现频率以及每个特征属性划分对每个类别的条件概率；
3 优缺点
优点
1、发源于古典数学理论，有稳定的分类效率；
2、对小规模（如何判定？）的数据表现好，能处理多分类任务，适合增量式训练，尤其是数据量超出内存（这还是小规模吗？）时，可以一批一批的去增量训练；
3、对缺失数据不敏感，算法简单，常用于文本分类；
缺点：
1、在属性个数比较多或属性之间相关性较大时，分类效果不好。而属性相关性较小时，朴素贝叶斯性能良好。
2、需要知道先验概率，且先验概率很多时候取决于假设，假设的模型可以有很多种，因此在某些时候由于假设的先验模型的原因导致预测效果不佳；
3、既然是通过先验和数据来决定后验的概率从而决定分类，所以分类决策存在一定的错误率。
4、对输入数据的表达形式很敏感。
4 模型
词集模型（set-of-words model）:每个词的出现与否作为一个特征
词袋模型（bag-of-words model）：若一个词在文档中出现不止一次，就意味着包含该词是否出现在文档中不能表达某种信息，而累积相同词的次数，可以更好的表示特征性。
5 代码
以下源码使用python3.7.6实现了三个简单的分类任务（代码来源于《机器学习实践》），即使用朴素贝叶斯分类器过滤网站恶意留言、过滤垃圾邮件以及从个人广告中获取区域倾向。
''' Created on Oct 19, 2010 @author: Peter ''' from numpy import * import numpy as np from numpy.core.umath import log import os def loadDataSet(): postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'], ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'], ['stop', 'posting', 'stupid', 'worthless', 'garbage'], ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'], ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']] classVec = [0,1,0,1,0,1] #1 is abusive, 0 not return postingList,classVec def createVocabList(dataSet): vocabSet = set([]) #create empty set for document in dataSet: vocabSet = vocabSet | set(document) #union of the two sets return list(vocabSet) def setOfWords2Vec(vocabList, inputSet): returnVec = [0]*len(vocabList) for word in inputSet: if word in vocabList: returnVec[vocabList.index(word)] = 1 else: print ("the word: %s is not in my Vocabulary!" % word) return returnVec def trainNB0(trainMatrix,trainCategory): numTrainDocs = len(trainMatrix) numWords = len(trainMatrix[0]) pAbusive = sum(trainCategory)/float(numTrainDocs) p0Num = ones(numWords); p1Num = ones(numWords) #change to ones() p0Denom = 2.0; p1Denom = 2.0 #change to 2.0 for i in range(numTrainDocs): if trainCategory[i] == 1: p1Num += trainMatrix[i] # 累计在侮辱性文档中的对应单词 p1Denom += sum(trainMatrix[i]) # 将所有侮辱性的单词个数相加 else: p0Num += trainMatrix[i] p0Denom += sum(trainMatrix[i]) p1Vect = log(p1Num/p1Denom) #change to log()， 计算获得侮辱性文档中各个词汇的出现概率 p0Vect = log(p0Num/p0Denom) #change to log()， 计算获得非侮辱性文档中各个词汇的出现概率 return p0Vect,p1Vect,pAbusive # 获得条件概率和先验概率，这里pAbusive没有进行log处理 def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1): # here p1vev as weight multiply the real data, so we can get the probability of the this doc p1 = sum(vec2Classify * p1Vec) + log(pClass1) #element-wise mult，因为之前对pClass1没有进行log处理 p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1) if p1 > p0: return 1 else: return 0 def bagOfWords2VecMN(vocabList, inputSet): returnVec = [0]*len(vocabList) for word in inputSet: if word in vocabList: returnVec[vocabList.index(word)] += 1 return returnVec def testingNB(): listOPosts,listClasses = loadDataSet() myVocabList = createVocabList(listOPosts) trainMat=[] for postinDoc in listOPosts: trainMat.append(setOfWords2Vec(myVocabList, postinDoc)) p0V,p1V,pAb = trainNB0(array(trainMat),array(listClasses)) testEntry = ['love', 'my', 'dalmation'] thisDoc = array(setOfWords2Vec(myVocabList, testEntry)) print (testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb)) testEntry = ['stupid', 'garbage'] thisDoc = array(setOfWords2Vec(myVocabList, testEntry)) print (testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb)) def textParse(bigString): #input is big string, #output is word list import re listOfTokens = re.split('\W+', bigString) return [tok.lower() for tok in listOfTokens if len(tok) > 2] def spamTest(): import os docList=[]; classList = []; fullText =[] for i in range(1,26): wordList = textParse(open('email/spam/%d.txt' % i).read()) docList.append(wordList) fullText.extend(wordList) classList.append(1) wordList = textParse(open('email/ham/%d.txt' % i, encoding='gb18030', errors='ignore').read()) docList.append(wordList) fullText.extend(wordList) classList.append(0) vocabList = createVocabList(docList)#create vocabulary trainingSet = list(range(50)); testSet=[] #create test set for i in range(10): randIndex = int(random.uniform(0,len(trainingSet))) testSet.append(trainingSet[randIndex]) del(trainingSet[randIndex]) trainMat=[]; trainClasses = [] for docIndex in trainingSet:#train the classifier (get probs) trainNB0 trainMat.append(bagOfWords2VecMN(vocabList, docList[docIndex])) trainClasses.append(classList[docIndex]) p0V,p1V,pSpam = trainNB0(array(trainMat),array(trainClasses)) # 使用90%的数据用来训练算法，获取各个词的在不同类别的概率，已经不同类别的概率 errorCount = 0 for docIndex in testSet: #classify the remaining items wordVector = bagOfWords2VecMN(vocabList, docList[docIndex]) if classifyNB(array(wordVector),p0V,p1V,pSpam) != classList[docIndex]: errorCount += 1 print ("classification error",docList[docIndex]) print ('the error rate is: ',float(errorCount)/len(testSet)) #return vocabList,fullText def calcMostFreq(vocabList,fullText): import operator freqDict = {} for token in vocabList: freqDict[token]=fullText.count(token) sortedFreq = sorted(freqDict.items(), key=operator.itemgetter(1), reverse=True) return sortedFreq[:30] import feedparser def localWords(feed1,feed0): docList=[]; classList = []; fullText =[] minLen = min(len(feed1['entries']),len(feed0['entries'])) # 为了保证数据长度相同，所以选取以最短的为准 for i in range(minLen): wordList = textParse(feed1['entries'][i]['summary']) docList.append(wordList) fullText.extend(wordList) classList.append(1) #NY is class 1 wordList = textParse(feed0['entries'][i]['summary']) docList.append(wordList) fullText.extend(wordList) classList.append(0) vocabList = createVocabList(docList)#create vocabulary top30Words = calcMostFreq(vocabList,fullText) #remove top 30 words for pairW in top30Words: if pairW[0] in vocabList: vocabList.remove(pairW[0]) trainingSet = list(range(2*minLen)); testSet=[] #create test set for i in range(20): randIndex = int(random.uniform(0,len(trainingSet))) testSet.append(trainingSet[randIndex]) del(trainingSet[randIndex]) trainMat=[]; trainClasses = [] for docIndex in trainingSet:#train the classifier (get probs) trainNB0 trainMat.append(bagOfWords2VecMN(vocabList, docList[docIndex])) trainClasses.append(classList[docIndex]) p0V,p1V,pSpam = trainNB0(array(trainMat),array(trainClasses)) errorCount = 0 for docIndex in testSet: #classify the remaining items wordVector = bagOfWords2VecMN(vocabList, docList[docIndex]) if classifyNB(array(wordVector),p0V,p1V,pSpam) != classList[docIndex]: errorCount += 1 print ('the error rate is: ',float(errorCount)/len(testSet)) return vocabList,p0V,p1V def getTopWords(ny,sf): import operator vocabList,p0V,p1V=localWords(ny,sf) topNY=[]; topSF=[] for i in range(len(p0V)): if p0V[i] > -6.0 : topSF.append((vocabList[i],p0V[i])) if p1V[i] > -6.0 : topNY.append((vocabList[i],p1V[i])) sortedSF = sorted(topSF, key=lambda pair: pair[1], reverse=True) print ("SF**SF**SF**SF**SF**SF**SF**SF**SF**SF**SF**SF**SF**SF**SF**SF**") sortedSF = sortedSF[:10] for item in sortedSF: print (item[0]) sortedNY = sorted(topNY, key=lambda pair: pair[1], reverse=True) sortedNY = sortedNY[:10] print ("NY**NY**NY**NY**NY**NY**NY**NY**NY**NY**NY**NY**NY**NY**NY**NY**") for item in sortedNY: print (item[0]) def storeTree(inputTree,filename): import pickle fw = open(filename,'wb') pickle.dump(inputTree,fw) fw.close() def grabTree(filename): import pickle fr = open(filename, 'rb') return pickle.load(fr) if __name__ == '__main__': # 训练算法 # testingNB() # 使用朴素贝叶斯分类器从个人广告中获取区域倾向 # spamTest() # 发现地域相关用词 if os.path.exists("ny") and os.path.exists("sf"): ny = grabTree("ny") sf = grabTree("sf") else: ny = feedparser.parse('http://www.nasa.gov/rss/dyn/image_of_the_day.rss') sf = feedparser.parse('http://sports.yahoo.com/nba/teams/hou/rss.xml') storeTree(ny, "ny") storeTree(sf, "sf") getTopWords(ny, sf)
代码中需要注意的地方是：
1.原先的代码是使用python2实现的，在使用python3时，sorted排序函数不再使用iteritems，而是使用items；
2.python3在正则处理单词是使用'\W+'，不再使用原来代码的'\W*'；
3.由于原先的rss不能够再方法，故替换成了http://www.nasa.gov/rss/dyn/image_of_the_day.rss和http://sports.yahoo.com/nba/teams/hou/rss.xml；
4.由于每次都要获取rss，所以代码通过import pickle，进行了本地保存和读取，加快了调试进度；
5.Newyork在美国东海岸，San Francisco在美国西海岸；
6.通过conda安装feedparser的方法为：conda install feedparser
6 总结
朴素贝叶斯主要用于处理文本分类，只要是想从文本中提取分类信息，都可以使用朴素贝叶斯分类器。在准备好数据集之后，需要留出10%的数据最为留存交叉验证，以便计算出分类器的错误率。
在训练分类器时，需要获得词典，然后将文本转化成数字向量，在不同的分类标签下，获得所有词的概率分布（条件概率），由于假设为分布服从正太分布，也就意味着假设了各个单词间没有依赖关系，虽然不符合现实的情况，但是作为分类器，却可以达到不错的效果。同时由于知道分类结果，继而可以获得分类的占比，作为先验概率。
测试数据时，希望获得类别的概率情况。通过将当前测试文本中的词向量个数乘以相应词的概率值（条件概率），即：
P(Ci|ω) = P(ω|Ci)P(Ci)/P(ω) = P(ω1|Ci)P(ω2|Ci)...P(Ci)/P(ω)
由于ωi为独立同分布，所以，很容易求得不同分类情况下的P(Ci|ω)，比较它们的大小，即可获得对应的类别倾向。
由于各个词的概率值都很小，相乘时程序容易出现小溢出或得不到正确的答案，这时可以对相乘式取对数，可以避免下溢出，同时取对数的函数形态的极值并不会改变，还方便了处理。
8.词袋模型比词集模型可以更加体现出真实性；
9.通过去掉停用词，可以对分类器进行优化；
7 附加
若是在conda中需要添加库，在控制台中使用如下命令即可，如：conda install feedparser
安装完之后，重启VSCode，就可以使用啦。
ps：
