朴素贝叶斯模型
朴素贝叶斯法
朴素贝叶斯是一种用先验概率估计后验概率的模型,通过估计先验概率得到样本和类别的近似联合概率,随后通过联合概率分布获得需要的后验概率分布进而实现分类。本次介绍的朴素贝叶斯法主要包括三块:总体思想(将后验概率转换为先验概率)、极大似然估计(使用极大似然法估计先验概率)、贝叶斯估计(使用贝叶斯估计得到先验概率)。
符号说明
设输入空间
由
贝叶斯总体模型
对于一个分类任务,我们可以使用判别方法直接计算样本
我们也可以通过生成方法估计样本的总体分布并间接获得样本为每个类别的概率即:
这样就基本构成了贝叶斯模型,但仅仅这样是不够的,因为
一种简化计算的方式是,假定每个维度的特征之前是互不相关的,虽然这样会损失掉很多原有相关的信息,但是可以大大的减少参数量,如下所示:
这样参数量可以由
将
对于同一个样本
另外几个需要区分的点是:
先验概率:即通过样本可以统计出来的概率。
后验概率:需要通过转换求取的概率,不能直接统计得到。
极大似然估计
通过贝叶斯模型,我们将一个后验概率通过条件概率公式转换成了求解
当然一种非常直观的计算方式就是直接统计满足上面条件的样本占总体样本的比例,所以很自然的我们可以得到下面的两个计算式子:
其中
但是为什么可能这样表示呢?我们通过极大似然估计来证明上述两个等式成立。
求
因此,我们可以假设
两边取自然对数得:
两边求导
令其为0
对于
由于分母已经求出,因此只需再求出分子即可,我们使用相同的思想,将样本分为两部分,第一部分样本满足
根据样本都是独立同分布产生的,我们构造相似的似然函数
显然可以求出极大值
贝叶斯估计
极大似然估计虽然可以计算出先验概率,但是可能会出现估计参数的概率值为0的情况,即满足
一种处理方式就是添加系数,如下式:
当
对于第二个式子,相当于把
同样的对
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· Deepseek官网太卡,教你白嫖阿里云的Deepseek-R1满血版
· 2分钟学会 DeepSeek API,竟然比官方更好用!
· .NET 使用 DeepSeek R1 开发智能 AI 客户端
· DeepSeek本地性能调优
· 一文掌握DeepSeek本地部署+Page Assist浏览器插件+C#接口调用+局域网访问!全攻略