为了使得后验分布计算简单,为此引入共轭先验分布
1.共轭分布族
设总体X的分布密度为p(x|θ),F∗为θ的一个分布族,π(θ)为θ的任意一个先验分布,π(θ)∈F∗,若对样本的任意观测值x,θ的后验分布h(θ|x)∈F∗,则称F∗是关于分布密度p(x|θ)的共轭先验分布族,简称共轭分布族
注意:共轭先验分布是对某一分布中的参数而言的,如正态均值,正态方差,泊松均值等,离开指定参数机器所在的分布区谈论共轭先验分布是没有意义的
2.后验分布核
因为贝叶斯定理
h(θ|x)=q(x|θ)π(θ)m(x),m(x)是样本的边缘分布
有h(θ|x)∝q(x|θ)π(θ)
称q(x|θ)为后验分布h(x|θ)的核
3.共轭先验分布族的构造方法
第一种方法
首先计算似然函数q(x|θ),根据似然函数所含θ的因式情况,选取似然函数具有相同核的分布作为先验分布
例:设(X1,X2,...,Xn)T是来自正态总体N(θ,σ2)的一个样本,其中θ已知,现寻求σ2的共轭先验分布,由于该样本的似然函数为

结论是倒Γ分布是具有上述核
Γ分布的密度函数为


此分布密度为倒Γ分布的密度函数,设σ2的先验分布为倒Γ分布,即

则σ2的后验分布为

显然此分布仍为倒Γ分布,即先验分布于后验分布都为倒Γ分布,因而倒Γ分布是σ2的共轭先验分布
第二种方法
设总体X的分布密度为p(x|θ),统计量T(X)=T(X1,...,Xn)是参数θ的充分统计量,则有
定理
设f(θ)为任一固定的函数,满足条件
1)f(θ)≥0,θ∈Θ
2)0<∫Θgn(t|θ)f(θ)dθ<∞
则Df={gn(t|θ)f(θ)∫Θgn(t|θ)f(θ)dθ,n=1,2,...}是共轭先验分布族,其中
q(x|θ)=n∏i=1p(xi|θ)=gn(t|θ)h(x1,x2,...,xn)
注:总体X的分布密度为p(x,θ),θ的先验分布为π(θ),(X1,X2,...,Xn)T为总体X的样本,其联合密度为 q(x1,x2,...,xn)=n∏i=1p(xi,θ),而样本值是在知道θ的先验分布的前提下得到的,因为上述分布可以改写为
q(x|θ)=q(x1,x2,...,xn|θ)=n∏i=1p(xi|θ)
例

4.常见共轭分布族
补充一条,狄利克雷分布是多项式分布关于参数μk的共轭先验
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· spring官宣接入deepseek,真的太香了~