摘要:
蒙特卡洛(Monte Carlo)法是一类随机算法的统称。随着二十世纪电子计算机的出现,蒙特卡洛法已经在诸多领域展现出了超强的能力。在机器学习和自然语言处理技术中,常常被用到的MCMC也是由此发展而来。本文通过蒙特卡洛法最为常见的一种应用——求解定积分,来演示这类算法的核心思想。 无意识统计学家法则 阅读全文
摘要:
马尔科夫链定义 马尔科夫链的定义如下 从定义中我们不难看出马氏链当前状态只与前一个状态相关。比如我们预测明天天气,只考虑今天天气状况,不考虑昨天前天的天气状况。 马尔科夫链平稳状态 举个具体的例子。社会学家把人按其经济状况分为3类:下层,中层,上层,我们用1,2,3表示这三个阶层。社会学家发现决定一 阅读全文
摘要:
Dirichlet分布 我们把Beta分布推广到高维的场景,就是Dirichlet分布。Dirichlet分布定义如下 Dirichlet分布与多项式分布共轭。多项式分布定义如下 共轭关系表示如下 Dirichlet-MultCount共轭理解 上述共轭关系我们可以这样理解,先验Dirichlet分 阅读全文