高斯分布相乘、积分整理

高斯分布相乘、积分整理

文章包括的内容有:

  • [] 一元高斯的卷积分布

前三部分的参考文献Products and Convolutions of Gaussian Probability Density
Functions. P.A. Bromile
。应用的内容来自"machine learning a probabilistic perspective"的第四章p119~p120页。

引言

高斯分布是一个很重要的连续分布形式,频繁出现应用场景和里也可以导出很多分布,如在典型的线性回归中对误差ε的建模就是用的标准正态分布,统计学的学生,t,分布就是从正态分布中导出。随着贝叶斯统计学的广泛应用,相乘的高斯分布(高斯先验)等形式也出现在公式中,例如高斯线性系统,本文就这些形式进行说明。

一元高斯分布相乘

假设p(x1)=N(x|μ1,σ1),p(x2)=N(x|μ2,σ2)均是关于变量x的分布,现想计算p(x1)p(x2)的分布形式。

p(x1)p(x2)=e12σ12(xμ1)2e12σ22(xμ2)2=e12σ12+σ22x22(μ1σ22+μ2σ12)x+constantσ12σ22

得两个高斯分布相乘仍为缩放的高斯分布,通过配方得到缩放的高斯分布参数为:

μ=μ1σ22+μ2σ12σ12+σ22σ=σ12σ22σ12+σ22

上式可写为如下形式,从而推广至n个一维高斯分布相乘:

μ=(μ1σ12+μ2σ22)σ21σ2=1σ12+1σ22

具体为何是缩放的高斯分布可以阅读参考资料。

多元高斯分布相乘

我们熟知的多元高斯分布形式如下:

12πD2|Σ|12e12(xμ)TΣ1(xμ)

多元高斯分布的另一种形式自然分布形式用到的参数为:

Λ=Σ1ξ=Σ1μ

分布形式如下:

12πD2|Λ| 12e12(xTΛx2xTξ+ξTΛ1ξ)

将指数外的系数放入指数部分,得到:

e12xTΛx+ξTxζ

其中ζ为:

12(ξTΛ1ξ+Dlog2πlog|Λ|)

在多个多元高斯相乘时,得到的结果如下:

e12xT(inΛi)x+(inξi)Txinζi

通过对ζ进行变换可以发现,仍为多元高斯分布。

上述两个式子均是通过配方法来寻找新分布的参数,而其中的normalization项则并不那么重要。

一元高斯的卷积分布

由于不清楚傅里叶变换,这部分暂时空缺。其实求得的分布结果与在大学概率论课上求两个正态分布变量加和的分布结果相一致。

推断高斯分布的参数

这一部分的内容来自于"Machine Learning A Probabilistic Perspective"一书的第四章p132~p134。假设多元高斯分布的参数μ,Σ来自服从Normal-inverse-wishart分布:

N(μ|m0,1κ0Σ)×IW(Σ|S0,v0)=1ZNIW|Σ|12eκ02(μm0)TΣ1(μm0)×|Σ|v+D+12e12tr(S0Σ1)

在观测到一批数据集D后,计算似然为:

|Σ|N2eN2(μx¯)TΣ1(μx¯)×e12tr(Sx¯Σ1)

在计算参数后验的分布时,用到了多元高斯分布相乘的方法。现假设:

Λ1=κ0Σ1Λ2=NΣ1ξ1=κ0Σ1m0ξ2=NΣ1x¯

利用相同的方法,可以得到:

Λ=(κ0+N)Σ1mN=Λ1(ξ1+ξ2)=κ0m0+Nx¯κ0+N

高斯线性系统

这一部分的内容来自于"Machine Learning A Probabilistic Perspective"一书的第四章。这部分的内容可能与前面所述的不一致(多个均为同一变量x分布的分布)。高斯线性系统如下:

p(x)=N(μ0,Σ0)p(y|x)=N(Ax+b,Σy)

yx产生,在观测到y后可以对x进行更新:

p(x|y)=N(μx|y,Σx|y)

下面对μx|y,Σx|y进行计算。已知p(x,y)=p(y|x)p(x)p(y|x)p(x)的指数部分为:

xT(Σ01+ATΣy1A)x2xT(Σ01μ0+ATΣy1(yb))+(yb)TΣy1(yb)+μ0TΣ01μ0

通过配方可以得到:

Σx|y1=Σ01+ATΣy1Aμx|y=Σx|y(Σ01μ0+ATΣy1(yb))

下面对p(y)进行求解,我们知道p(y)=p(y|x)p(x)dxp(x)p(y|x)=p(y)p(x|y)通过上述的式子,如果对上式求积分或者配方会有些复杂。实际上,通过上式可以得到p(x,y)逆协方差矩阵:

Λ=[Σ01+ATΣy1AATΣy1Σy1AΣy1]

利用联合高斯分布的推断结论,可以得到:

μx|y=Σx|y(Σx|y1μ0Λ12(yμy))=Σx|y(Σ01μ0+ATΣy1Aμ0+ATΣy1(yμy))=Σx|y(Σ01μ0+ATΣy1(yb))

可以推知:

μy=Aμ0+b

再对Σy(这里Σy表示p(y)的协方差矩阵)进行计算:

Σ=[ΣxΣxyΣxyTΣy]=Λ1

[IAT0I]Λ[I0AI]=[Σ0100Σy1]Λ1=[I0AI][Σ000Σy][IAT0I]=[Σ0Σ0ATAΣ0Σy+AΣ0AT]

因此Σy=Σy+AΣ0ATp(y)的分布参数如下:

μ=Aμ0+bΣ=Σy+AΣ0AT

posted @   Neo_DH  阅读(12468)  评论(0编辑  收藏  举报
编辑推荐:
· 一个奇形怪状的面试题:Bean中的CHM要不要加volatile?
· [.NET]调用本地 Deepseek 模型
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· .NET Core 托管堆内存泄露/CPU异常的常见思路
· PostgreSQL 和 SQL Server 在统计信息维护中的关键差异
阅读排行:
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· spring官宣接入deepseek,真的太香了~
点击右上角即可分享
微信分享提示