spark 机器学习 朴素贝叶斯 原理(一)
朴素贝叶斯算法仍然是流行的挖掘算法之一,该算法是有监督的学习算法,解决的是分类问题,如客户是否流失、是否值得投资、信用等级评定等多分类问题。该算法的优点在于简单易懂、学习效率高、在某些领域的分类问题中能够与决策树、神经网络相媲美。但由于该算法以自变量之间的独立(条件特征独立)性和连续变量的正态性假设为前提,就会导致算法精度在某种程度上受影响
朴素贝叶斯的实现流程
1.理解先验概率和后验概率的区别?
a.先验概率:是指根据以往经验和分析得到的概率。简单来说,就是经验之谈,打趣来说——不听老人言,吃亏在眼前。
b.后验概率:是指通过调查或其它方式获取新的附加信息,去修正发生的概率。也就是参考的信息量更多、更全。
2.它们之间的转换,推导出贝叶斯公式
3.概率的数学公式形式为
注:公式中 P(AB) 为事件 AB 的联合概率,P(A|B) 为条件概率,表示在 B 条件下 A 的概率,P(B) 为事件 B 的概率。
推导过程:
4.贝叶斯公式
扩展:
5.如何理解朴素这两个字
朴素贝叶斯基于一个简单的假定:给定特征向量之间相互条件独立。
考虑到 P(B1B2...Bn) 对于所有类别都是一样的。而对于朴素贝叶斯的分类场景并需要准确得到某种类别的可能性,更多重点在于比较分类结果偏向那种类别的可能性更大。
6.例子
某个医院早上收了六个门诊病人,如下表截图
现在又来了第七个病人,是一个打喷嚏的建筑工人。请问他患上感冒的概率有多大?
没有感冒人群特征满足:打喷嚏,建筑工人
套用朴素贝叶斯算法
假定"打喷嚏"和"建筑工人"这两个特征是独立的,因此,上面的等式就变成了
因此,这个打喷嚏的建筑工人,有66%的概率是得了感冒。同理,可以计算这个病人患上过敏或脑震荡的概率。这就是贝叶斯分类器的基本方法:在统计资料的基础上,依据某些特征,计算各个类别的概率,从而实现分类。