共轭分布

对于应用贝叶斯理论的人来说,当你观察一个事件x,你预估计并给出其内部参数θ,表示你对于事件x发生的置信程度。


而内部参数的分布有时不能通过观察判断出。


 共轭分布是一种极大简化贝叶斯分析的方法。其作用是,在贝叶斯公式包含多种概率分布的情况下,使这些分布的未知参数在试验前被赋予的物理意义,延续到试验后,便于分析。

我的理解是共轭分布是一个方法,用来近似模拟参数θ的分布,作为其先验概率。

贝叶斯公式如下:
其中, θ表示模型中的未知参数, 表示样本。

这里有三个重要的概念: 先验分布 、 似然函数 ,以及 后验分布 。 
p(θ)是先验分布,表示在观察样本之前,按照经验认为 符合某种概率分布。比如说在抛硬币之前,我们认为正反两面出现的概率各为1/2。 
p(x|θ)是似然函数,表示在给定模型参数 的条件下,样本数据 服从这一概率模型的相似程度。 
p(θ|x)是后验分布,表示在观察一系列样本数据后,模型参数服从的概率分布。即,对先验分布进行了修正,更接近真实情况。
另外,因为 p(x)是样本,所以 是一个确定的值。

在贝叶斯公式中,如果先验分布和似然函数 使得后验分布具有和先验分布相同的形式,那么就称先验分布和似然函数是共轭的 。


那么思路是这样的:我们有了似然函数后,想要找到先验分布,那么挨着找一个先验试验,找一个先验乘以似然后得到的函数形式与先验的函数形式相同的分布。


这样逆着思考可能有点难以理解,那么这样思考:

我们用Gammar分布作为先验,用Possion分布作为似然,然后相乘得到的函数形式与Gammar分布的函数形式相同,所以说Gammar和Possion是共轭的,Gammar是Possion的共轭先验。



这是让我看懂了共轭的一篇博文:

posted @ 2016-07-17 11:15  StevenLuke  阅读(339)  评论(0编辑  收藏  举报