【机器学习与深度学习理论要点】16. 什么是二元分类，朴素贝叶斯分类？

目录

二元分类

1）什么是二元分类？

二元分类又称逻辑回归，是将一组样本划分到两个不同类别的分类方式。

2）如何实现二元分类

逻辑回归属于广义线性回归模型，使用线性模型计算函数值，在通过逻辑函数将联系值进行离散化处理。逻辑函数又称sigmoid函数，表达式为：
$$y=\frac{1}{1+e^{-t}}$$
该函数能将$(-\infty ,+\infty )$的值压缩到(0,1)区间，通过选取合适的阈值，转化为两个离散值(大于0.5为1，小于0.5为0)

朴素贝叶斯分类

1）贝叶斯定理

贝叶斯定理描述为：
$$p(A|B)=\frac{p(A)p(B|A)}{p(B)}$$
其中，P(A)和P(B)是A事件和B事件发生的概率，这两个事件时独立的，不相互影响的（朴素的含义）；P(A|B)称为条件概率，表示B事件发生条件下，A事件发生的概率，P(A)也称为先验概率，P(A|B)也称为后验概率。先验概率主要根据统计获得，后验概率利用贝叶斯定理计算后并根据实际情况进行修正。其公式推导过程：
$$\begin{gathered} P(A,B)=P(B)P(A|B) \\ P(B,A)=P(A)P(B|A) \end{gathered}$$
其中P(A,B)称为联合概率，指事件B发生的概率，乘以事件A在事件B发生的条件下发生的概率。因为P(A,B) = P(B,A)，所以有：
$$P(B)P(A|B)=P(A)P(B|A)$$
两边同时除以P(B)，则得到贝叶斯定理的表达式。

2）什么是朴素贝叶斯分类

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。“朴素”的含义为：假设问题的特征变量都是相互独立地作用于决策变量的，即问题的特征之间都是互不相关的。

3）朴素贝叶斯分类的特点

①优点

• 逻辑性简单
• 算法较为稳定。当数据呈现不同的特点时，朴素贝叶斯的分类性能不会有太大的差异。
• 当样本特征之间的关系相对比较独立时，朴素贝叶斯分类算法会有较好的效果。

②缺点

• 特征的独立性在很多情况下是很难满足的，因为样本特征之间往往都存在这相互关联，如果在分类过程中出现这种问题，会导致分类的效果大大降低。

4）什么时候使用朴素贝叶斯

• 根据先验概率计算后验概率的情况，且样本特征之间独立性较强。

作者：野哥李
微信公众号：AI算法学习社
欢迎任何形式的转载，但请务必注明出处。
限于本人水平，如果文章和代码有表述不当之处，还请不吝赐教。
本文章不做任何商业用途，仅作为自学所用，文章后面会有参考链接，我可能会复制原作者的话，如果介意，我会修改或者删除。