markov chain

收敛性

markov chain具有收敛性，收敛的结果只与转移矩阵有关，和初始值没有关系。
具体例子可以见 《lda数学八卦》0.4.2小节社会阶层的例子。根据这一节可以看出markov chain的两个特点：

• 1.markov chain具有收敛性
• 2.得到markov chain核心步骤是找到合适的转移矩阵。

Matropolis-Hastrings Algorithm

关键的两个函数：

• q（ai, ai+1) : 决定如何从ai得到ai+1
• α（ai，ai+1）：决定得到的ai+1是否保留
  目的是使得at的分布收敛于π（a）

Gibbs Samplings

主要是面对多维的情况。
例如状态时含有n维的向量，每次迭代要固定n-1维向量，只对剩下的 1 维随机模拟。

注：
π（a）：这是对问题建模后的分布，联合分布或者多项分布，lda里面是dirichlet分布。我们用最终要求出来的是这个分布的参数。