LDA的Gibbs Sampling求解

《LDA数学八卦》对于LDA的Gibbs Sampling求解讲得很详细,在此不在重复在轮子,直接贴上该文这部分内容。

Gibbs Sampling

 

批注:

1、              对于第i个词语,上式k(主题类型)未知,取值范围为[1, K],t(词语类型)已知,即观测值。

2、              由于doc-topic与topic-word独立,所以第i个词语主题为k,类型为t的概率显然是主题k概率在doc m-topic分布上的积分乘以词语t概率在topic k-word分布上的积分。即

 

 

批注:我们已经得到了每个topic-word的边缘分布,通过Gibbs Sampling很容易得到topic-word的完整分布。

Training And Inference

 

posted @ 2018-10-06 11:59  coshaho  阅读(612)  评论(0编辑  收藏  举报