sklearn中的朴素贝叶斯模型及其应用

1.使用朴素贝叶斯模型对iris数据集进行花分类

尝试使用3种不同类型的朴素贝叶斯：

高斯分布型

多项式型

伯努利型

import numpy as np
from sklearn.naive_bayes import GaussianNB
from sklearn.datasets import load_iris
iris=load_iris()
NB_model=GaussianNB()#用高斯分布型建立模型
pre=NB_model.fit(iris.data,iris.target)#模型训练
Y_pre=pre.predict(iris.data)#对数据进行分类预测
print(iris.data.shape[0],(iris.target!=Y_pre).sum())#计算预测分类与原始分类不同的数量
from sklearn.naive_bayes import BernoulliNB
NB_model=BernoulliNB()#用伯努利型建立模型
pre=NB_model.fit(iris.data,iris.target)#模型训练
Y_pre=pre.predict(iris.data)#对数据进行分类预测
print(iris.data.shape[0],(iris.target!=Y_pre).sum())#计算预测分类与原始分类不同的数量
from sklearn.naive_bayes import MultinomialNB
NB_model=MultinomialNB()#用多项式型建立模型
pre=NB_model.fit(iris.data,iris.target)#模型训练
Y_pre=pre.predict(iris.data)#对数据进行分类预测
print(iris.data.shape[0],(iris.target!=Y_pre).sum())#计算预测分类与原始分类不同的数量

2.使用sklearn.model_selection.cross_val_score()，对模型进行验证。

#高斯分布型的准确率
from sklearn.model_selection import cross_val_score
NB_model=GaussianNB()
sco=cross_val_score(NB_model,iris.data,iris.target,cv=10)
print("准确率:%.3f"%sco.mean())

#伯努利型的准确率
from sklearn.model_selection import cross_val_score
NB_model=BernoulliNB()
sco=cross_val_score(NB_model,iris.data,iris.target,cv=10)
print("准确率:%.3f"%sco.mean())

#多项式型的准确率
from sklearn.model_selection import cross_val_score
NB_model=MultinomialNB()
sco=cross_val_score(NB_model,iris.data,iris.target,cv=10)
print("准确率:%.3f"%sco.mean())

 

3. 垃圾邮件分类

数据准备：

• 用csv读取邮件数据，分解出邮件类别及邮件内容。
• 对邮件内容进行预处理：去掉长度小于3的词，去掉没有语义的词等

import csv
file_path=r'E:\jupyter\SMSSpamCollectionjsn.txt'
sms=open(file_path,'r',encoding='utf-8')
sms_data=[]#邮件的内容
sms_label=[]#邮件的类别
csv_reader=csv.reader(sms,delimiter='\t')
for line in csv_reader:
    sms_label.append(line[0])
    sms_data.append(line[1])
sms.close()
sms_data=str(sms_data)#将列表转化为字符串
sms_data=sms_data.lower()#对大小写进行处理
sms_data=sms_data.split()#变成列表的形式
sms_data1=[]#存放处理后的内容
i=0
for i in sms_data:#去掉长度小于3的单词
    if len(i)>4:
        sms_data1.append(i)
        continue