伽玛分布

伽玛分布是统计学中的一种连续概率函数，包含两个参数a和b，其中a称为形状参数，b称为率参数，定义如下:

$Ga(x|a,b) = \frac{b^a}{\Gamma(a)}x^{a-1}e^{-bx}$

令 $\beta=b^{-1}$ (尺度参数),得到伽玛分布的另一种形式，

$Ga(x|a,\beta) = \frac{1}{\beta^a\Gamma(a)}x^{a-1}e^{-\beta^{-1}x}$

其中 $\Gamma(x) = \int_0^{\infty}t^{x-1}e^{-t}dt$ 称为伽玛函数，是阶乘运算在实数集上的泛化，满足 $\Gamma(x+1) = (x+1)\Gamma(x)$ .伽玛分布一个重要应用就是作为共轭分布出现在很多机器学习算法中，假设 $x_n \sim N(x|\mu, \alpha^{-1})$ ，其中 $\mu$ 是期望， $\alpha$ 是精度，并且假设期望 $\mu$ 已知，那么N个观测值的似然函数如下：

$p(X|\alpha) = \prod_{n=1}^Np(x_n|\alpha) = \propto \alpha^{\frac{N}{2}} e^{-\frac{\alpha}{2}\sum_{n=1}^N(x_n-\mu)^2} = \alpha^ke^{-l\alpha}$

其中 $k = \frac{N}{2}, l = \frac{1}{2}\sum_{=1}^N(x_n-\mu)^2$ ,该似然函数的共轭分布是伽玛分布，因此可以令伽玛分布作为 $\alpha$ 的先验分布并乘以似然函数得到 $\alpha$ 的后验分布

$p(\alpha|X) \propto p(X|\alpha)p(\alpha|a, b) = \alpha^{k + a - 1}e^{-(l + b)\alpha}$

规一化以后，得到另一个伽玛分布，

$p(\alpha|X) = Ga(\alpha|k+a, l + b)$

可以看出后验分布仍然是一个伽玛分布。

参考文献

1 Pattern recognition and machine learning （第二章）作者：Christopher M.Bishop

2 Machine learning a probabilistic perspective （第二章）作者:Kevin P. Murphy

3 All of statistics (第三章) 作者：Larry Wasserman

posted @ 2013-09-08 19:30 lijiankou 阅读(4390) 评论(0) 编辑收藏举报

刷新页面返回顶部