11.分类与监督学习，朴素贝叶斯分类算法
1.理解分类与监督学习、聚类与无监督学习。
简述分类与聚类的联系与区别。
简述什么是监督学习与无监督学习。
答：分类与聚类的联系与区别：两者联系为，都是为了将相似数据划分为区别与其他数据的一类，而且他们的都包含相同的过程，对于想要分析的目标点，都会在数据集中寻找离他最近的点，即都用到NN算法。
两者区别在于分类是为了确定一个点的类别，而具体有哪些类别是已知的，是有监督学习，而聚类的目的是不知晓有什么类别，将一系列点分成若干类，是无监督学习。
监督学习：根据已有的数据集，知道输入和输出结果之间的关系。根据这种已知的关系，训练得到一个最优的模型。
无监督学习：我们不知道数据集中数据、特征之间的关系，而是要根据聚类或一定的模型得到数据之间的关系。
2.朴素贝叶斯分类算法 实例
利用关于心脏病患者的临床历史数据集，建立朴素贝叶斯心脏病分类模型。
有六个分类变量(分类因子)：性别，年龄、KILLP评分、饮酒、吸烟、住院天数
目标分类变量疾病：
–心梗
–不稳定性心绞痛
新的实例：–(性别=‘男’，年龄<70, KILLP=‘I'，饮酒=‘是’，吸烟≈‘是”，住院天数<7)
最可能是哪个疾病？
上传手工演算过程。
|
|
性别 |
年龄 |
KILLP |
饮酒 |
吸烟 |
住院天数 |
疾病 |
|
1 |
男 |
>80 |
1 |
是 |
是 |
7-14 |
心梗 |
|
2 |
女 |
70-80 |
2 |
否 |
是 |
<7 |
心梗 |
|
3 |
女 |
70-81 |
1 |
否 |
否 |
<7 |
不稳定性心绞痛 |
|
4 |
女 |
<70 |
1 |
否 |
是 |
>14 |
心梗 |
|
5 |
男 |
70-80 |
2 |
是 |
是 |
7-14 |
心梗 |
|
6 |
女 |
>80 |
2 |
否 |
否 |
7-14 |
心梗 |
|
7 |
男 |
70-80 |
1 |
否 |
否 |
7-14 |
心梗 |
|
8 |
女 |
70-80 |
2 |
否 |
否 |
7-14 |
心梗 |
|
9 |
女 |
70-80 |
1 |
否 |
否 |
<7 |
心梗 |
|
10 |
男 |
<70 |
1 |
否 |
否 |
7-14 |
心梗 |
|
11 |
女 |
>80 |
3 |
否 |
是 |
<7 |
心梗 |
|
12 |
女 |
70-80 |
1 |
否 |
是 |
7-14 |
心梗 |
|
13 |
女 |
>80 |
3 |
否 |
是 |
7-14 |
不稳定性心绞痛 |
|
14 |
男 |
70-80 |
3 |
是 |
是 |
>14 |
不稳定性心绞痛 |
|
15 |
女 |
<70 |
3 |
否 |
否 |
<7 |
心梗 |
|
16 |
男 |
70-80 |
1 |
否 |
否 |
>14 |
心梗 |
|
17 |
男 |
<70 |
1 |
是 |
是 |
7-14 |
心梗 |
|
18 |
女 |
70-80 |
1 |
否 |
否 |
>14 |
心梗 |
|
19 |
男 |
70-80 |
2 |
否 |
否 |
7-14 |
心梗 |
|
20 |
女 |
<70 |
3 |
否 |
否 |
<7 |
不稳定性心绞痛 |
答：设p（x1）为患者性别概率，p（x2）为患者年龄概率，p（x3）为患者KILLP分数的概率，p（x4）为患者是否有喝酒的概率，p（x5）是否有吸烟的概率，p（x6）是患者住院天数的概率，p（y1）为患者是心梗的概率，p（y2）为患者是不稳定性心绞痛的概率
该男子各项数据的概率p（x）：0.4X0.25X0.5X0.2X0.45X0.3=0.00135
表中患有心梗疾病的个数y1为16，P(y1)为0.8；
在心梗的前提下是男性的个数为7，概率P(y1|x1)为：43.7%。
在心梗的前提下是年龄<70的个数为4，概率P(y1|x2)为：25%。
在心梗的前提下是KILLP=’1’的个数为9，概率P(y1|x3)为：56.2%。
在心梗的前提下是饮酒=‘是’的个数为2，概率P(y1|x4)为：18.7%。
在心梗的前提下是吸烟=‘是’的个数为7，概率P(y1|x5)为：43.7%。
在心梗的前提下是住院天数<7的个数为4，概率P(y1|x6)为：25%。
p(y1|x)=(p(x1|y1)p(x2|y1)p(x3|y1)p(x4|y1)p(x5|y1)p(x6|y1)p(y1))/P(x)
=(43.7%*25%*56.2%*18.7%*43.7%*25%*0.8)/0.00135
≈74.3%
表中患有心绞痛疾病的个数y2为4，P(y2)为0.2；
在心绞痛的前提下是男性的个数为1，概率P(y2|x1)为：25%。
在心绞痛的前提下是年龄<70的个数为1，概率P(y2|x2)为：25%。
在心绞痛的前提下是KILLP=’1’的个数为1，概率P(y2|x3)为：25%。
在心绞痛的前提下是饮酒=‘是’的个数为1，概率P(y2|x4)为：25%。
在心绞痛的前提下是吸烟=‘是’的个数为2，概率P(y2|x5)为：50%。
在心绞痛的前提下是住院天数<7的个数为2，概率P(y2|x6)为：50%。
p(y2|x)=(p(x1|y2)p(x2|y2)p(x3|y2)p(x4|y2)p(x5|y2)p(x6|y2)p(y2))/P(x)
=(25%*25%*25%*25%*50%*50%*0.2)/0.00135
≈14.5%
因为p(y1|x)>p(y2|x)，所以在同种临床数据下，该患者患有心梗的概率要大于患有心绞痛的概率。
3.使用朴素贝叶斯模型对iris数据集进行花分类。
尝试使用3种不同类型的朴素贝叶斯：
- 高斯分布型
- 多项式型
- 伯努利型
并使用sklearn.model_selection.cross_val_score()，对各模型进行交叉验证。
引入的包
引入数据集以及各自使用不同类型的朴素贝叶斯
结果为
进行交叉验证
