混合高斯(2)

期望最大化算法

  上节中公式(9.17),(9.19),(9.22)给出了混合高斯分布模型,单个高斯参数均值、协方差,以及高斯分布的系数。

(9.17)μk=n=1Nγ(znk)xnn=1Nγ(znk)

(9.19)Σk=n=1Nγ(znk)(xnμk)(xnμk)Tn=1Nγ(znk)

(9.22)πk=1Nn=1Nγ(znk)=NkN

而这些模型参数求解表达式,又要依赖后验概率值γ(zk)

(9.13)γ(zk)=p(zk=1|x)=p(zk=1)p(x|zk=1)j=1Kp(zj=1)p(x|zj=1)=πkN(x|μk,Σk)j=1KπjN(x|μj,Σj)

因此就有一种迭代的方法来求解最大似然解。首先为均值、协方差、混合系数选择一个初始值,然后就可以求后验概率;接下来就是这两个过程可以交替进行。具体如下:

  • 初始化均值μk、协方差Σk和混合系数πk,计算对数似然函数的初始值。
  • E 步:使用当前参数值计算各个高斯分量的贡献占比。

(9.23)γ(znk)=πkN(xn|μk,Σk)j=1KπjN(xn|μj,Σj)

  • M 步:使用当前贡献占比,重新估计模型参数。

(9.24)μknew=n=1Nγ(znk)xnn=1Nγ(znk)

(9.25)Σknew=n=1Nγ(znk)(xnμknew)(xnμknew)Tn=1Nγ(znk)

(9.26)πknew=1Nn=1Nγ(znk)=NkN

  • 计算对数似然函数

(9.28)ln{p(X|π,μ,Σ)}=n=1Nln{k=1KπkN(xn|μk,Σk)}

检查模型参数或者对数似然函数的收敛性,如果没有满足收敛准则,则返回E步继续迭代计算。

TODO list
使用EM算法估计混合高斯分布参数。

posted @   星辰大海,绿色星球  阅读(28)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· spring官宣接入deepseek,真的太香了~
点击右上角即可分享
微信分享提示