摘要:
离散随机变量的二项分布和多项式分布,以及连续随机变量的高斯分布,这些都是参数分布(parmetric distribution)的具体例子。之所以被称为参数分布,是因为少量可调节的参数控制了整个概率分布。在频率派的观点中,我们通过最优化某些准则(例如似然函数)来确定参数的具体值。而在贝叶斯派的观点中,给定观测数据,我们引入参数的先验分布,然后使用贝叶斯定理来计算对应后验概率分布。我们会看到,对于贝叶斯参数估计而言,共轭先验(conjugate prior)有着很重要的作用。它使得后验概率分布的函数形式与先验概率相同,因此使得贝叶斯分析得到了极大的简化。例如,二项分布的参数的共轭分布为Beta分布,多项式分布的参数的共轭分布为狄利克雷分布(Dirichlet distribution),而高斯分布的均值的共轭先验是另一个高斯分布。所有这些分布都是指数族(exponential family)分布的特例。在本篇博客中我们将会介绍二项分布与多项式分布的共轭先验,高斯分布的共轭先验留在下一篇博客中进行介绍。 阅读全文
