《数据挖掘:理论与算法》学习笔记(四)—贝叶斯分类
什么是分类
分类是一项生存的基本技能,例如,动物对天敌和猎物进行分类。
分类是一种有监督的学习,从数据中产生模型,输入一组样本特征后,能很好地将其归为某个类别。(包括二分类和多分类)
贝叶斯定理
如下所示,用于计算B事件发生的情况下A发生的概率
朴素贝叶斯
朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法
朴素贝叶斯分类器基于一个简单的假定:给定目标值时属性之间相互条件独立。
理论上我们应该用第三个公式:即联合概率分布,但实际中我们采用的是最后一个边缘概率乘积的方式。
条件独立的概念
例子:男性更容易得癌症吗?
这是条件独立的一个经典例子,实际上性别没什么关系。
拉普拉斯平滑
加入拉普拉斯平滑,避免了出现概率为0的情况,又保证了每个值都在0到1的范围内,又保证了最终和为1的概率性质
参考文献:清华大学-数据挖掘:理论与算法(国家级精品课)