《数据挖掘：理论与算法》学习笔记（四）—贝叶斯分类

什么是分类

分类是一项生存的基本技能，例如，动物对天敌和猎物进行分类。

分类是一种有监督的学习，从数据中产生模型，输入一组样本特征后，能很好地将其归为某个类别。（包括二分类和多分类）

贝叶斯定理

如下所示，用于计算B事件发生的情况下A发生的概率

朴素贝叶斯

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法

朴素贝叶斯分类器基于一个简单的假定：给定目标值时属性之间相互条件独立。

理论上我们应该用第三个公式：即联合概率分布，但实际中我们采用的是最后一个边缘概率乘积的方式。

条件独立的概念

例子：男性更容易得癌症吗？

这是条件独立的一个经典例子，实际上性别没什么关系。

拉普拉斯平滑
加入拉普拉斯平滑，避免了出现概率为0的情况，又保证了每个值都在0到1的范围内，又保证了最终和为1的概率性质

参考文献：清华大学-数据挖掘：理论与算法（国家级精品课）