自然语言处理（三）主题模型

为了解决“一词多义”和“多词一意”的问题，引入“主题”

LDA本质是一个三层贝叶斯网络

1、共轭分布

1、Beta分布是二项分布的共轭先验分布
2、Dirichlet分布是多项分布的共轭先验分布

Dirichlet分布的参数\([\alpha_{1},\alpha_{2},....,\alpha_{n}]\)，一般\(\alpha\)都取一样的值。

\(\alpha=1\quad\) 均匀分布
\(\alpha>1\quad\) 主题分布相等的概率增大
\(\alpha<1\quad\) 某一主题突出的概率增大

2、LDA模型

LDA模型框图如下图所示

流程如下：

1、取\(\alpha\),用\(Dir(\alpha)\)采样得到主题分布\(v_{m}\)
2、对\(v_{m}\)采样得到某一主题
3、取\(\beta\),用\(Dir(\beta)\)对每个主题分别采样得到词分布\(\varphi_{k}\)
4、取得到的主题的对应的词分布，
5、在词分布中采一个词

3、LDA问题

LDA问题的已知是：已知词语\(w\)(可观测),已知先验超参数\(\alpha\)和\(\beta\)

LDA问题的所求是：主题z，主题分布\(\theta\),词分布\(\varphi\)

4、Gibbs采样

Gibbs采样是一个为词语标记主题的算法。其流程如下：
1、随机为文本中每个词分配主题
2、统计：a.每个主题z下出现词t的数量. b.每个文档m下出现主题z的数量
3、计算\(P(z_{i}|z_{i-1,},w)\),返回步骤2，迭代。