期望最大化算法
上节中公式(9.17),(9.19),(9.22)给出了混合高斯分布模型,单个高斯参数均值、协方差,以及高斯分布的系数。
μk=∑Nn=1γ(znk)xn∑Nn=1γ(znk)(9.17)
Σk=∑Nn=1γ(znk)(xn−μk)(xn−μk)T∑Nn=1γ(znk)(9.19)
πk=1NN∑n=1γ(znk)=NkN(9.22)
而这些模型参数求解表达式,又要依赖后验概率值γ(zk)。
γ(zk)=p(zk=1|x)=p(zk=1)p(x|zk=1)∑Kj=1p(zj=1)p(x|zj=1)=πkN(x|μk,Σk)∑Kj=1πjN(x|μj,Σj)(9.13)
因此就有一种迭代的方法来求解最大似然解。首先为均值、协方差、混合系数选择一个初始值,然后就可以求后验概率;接下来就是这两个过程可以交替进行。具体如下:
- 初始化均值μk、协方差Σk和混合系数πk,计算对数似然函数的初始值。
- E 步:使用当前参数值计算各个高斯分量的贡献占比。
γ(znk)=πkN(xn|μk,Σk)∑Kj=1πjN(xn|μj,Σj)(9.23)
μnewk=∑Nn=1γ(znk)xn∑Nn=1γ(znk)(9.24)
Σnewk=∑Nn=1γ(znk)(xn−μnewk)(xn−μnewk)T∑Nn=1γ(znk)(9.25)
πnewk=1NN∑n=1γ(znk)=NkN(9.26)
ln{p(X|π,μ,Σ)}=N∑n=1ln{K∑k=1πkN(xn|μk,Σk)}(9.28)
检查模型参数或者对数似然函数的收敛性,如果没有满足收敛准则,则返回E步继续迭代计算。
TODO list
使用EM算法估计混合高斯分布参数。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· spring官宣接入deepseek,真的太香了~