贝叶斯估计-共轭先验分布

为了使得后验分布计算简单,为此引入共轭先验分布

1.共轭分布族

\(设总体X的分布密度为p(x|\theta),F^*为\theta的一个分布族,\pi(\theta)为\theta的任意一个先验分布,\pi(\theta)\in F^*,若对样本的任意观测值x,\theta的后验分布h(\theta|x)\in F^*,则称F^*是关于分布密度p(x|\theta)的共轭先验分布族,简称共轭分布族\)
\(注意：共轭先验分布是对某一分布中的参数而言的，如正态均值，正态方差，泊松均值等，离开指定参数机器所在的分布区谈论共轭先验分布是没有意义的\)

2.后验分布核

\(因为贝叶斯定理\)
\(h(\theta|x)=\frac{q(x|\theta)\pi(\theta)}{m(x)},m(x)是样本的边缘分布\)
\(有h(\theta|x)\propto q(x|\theta)\pi(\theta)\)
\(称 q(x|\theta)为后验分布h(x|\theta)的核\)

3.共轭先验分布族的构造方法

第一种方法

\(首先计算似然函数q(x|\theta),根据似然函数所含\theta的因式情况,选取似然函数具有相同核的分布作为先验分布\)

\(例:设(X_1,X_2,...,X_n)^T是来自正态总体N(\theta,\sigma^2)的一个样本,其中\theta已知,现寻求\sigma^2的共轭先验分布,由于该样本的似然函数为\)

\(结论是倒\Gamma分布是具有上述核\)
\(\Gamma分布的密度函数为\)


\(此分布密度为倒\Gamma分布的密度函数,设\sigma^2的先验分布为倒\Gamma分布,即\)

\(则\sigma^2的后验分布为\)

\(显然此分布仍为倒\Gamma分布,即先验分布于后验分布都为倒\Gamma分布,因而倒\Gamma分布是\sigma^2的共轭先验分布\)

第二种方法

\(设总体X的分布密度为p(x|\theta),统计量T(X)=T(X_1,...,X_n)是参数\theta的充分统计量,则有\)
\(定理\)
\(设f(\theta)为任一固定的函数,满足条件\)
\(1)f(\theta)\ge 0,\theta\in \Theta\)
\(2)0<\int_\Theta g_n(t|\theta)f(\theta)d\theta < \infty\)
\(则D_f=\{\frac{g_n(t|\theta)f(\theta)}{\int_\Theta g_n(t|\theta)f(\theta)d\theta},n=1,2,...\}是共轭先验分布族,其中\)
\(q(x|\theta)=\prod\limits_{i=1}^{n}p(x_i|\theta)=g_n(t|\theta)h(x_1,x_2,...,x_n)\)
\(注:总体X的分布密度为p(x,\theta),\theta的先验分布为\pi(\theta),(X_1,X_2,...,X_n)^T为总体X的样本,其联合密度为\ q(x_1,x_2,...,x_n)=\prod\limits_{i=1}^{n}p(x_i,\theta),而样本值是在知道\theta的先验分布的前提下得到的,因为上述分布可以改写为\)
\(q(x|\theta)= q(x_1,x_2,...,x_n|\theta)=\prod\limits_{i=1}^{n}p(x_i|\theta)\)

\(例\)

4.常见共轭分布族

补充一条，狄利克雷分布是多项式分布关于参数\(\mu_k\)的共轭先验