NLP 第七课 词性标注问题 概率图模型
https://www.bilibili.com/video/BV1kE411G7qo?p=7&t=64
Lesson 7: Topic Model
小文本可以用 graphic model
1. 图模型
2.
1) NB: 每个xi之间都是相互独立,但是都与给定条件c有关
2)右图中 正方形框代表重复K次
3)
3) a 是状态转移矩阵,b是释放概率
3.
1)HMM
A : 状态转移矩阵, t-1 -> t时刻 e.g.雨天到晴天的概率
B: 概率释放矩阵
q0,q1为下雨,晴天 y0,y1为 cleam shopping
已知一些 输出,求下一个输出的最优标注
2) 应用: 对于给定的观测序列 y0-yt WSSCWSCC (washing clean shopping)
求某天的状态,则比较γ(sunny)γ(rain)谁大
4. EM
5. Topic Model
1) LSA (SVD分解) d c 是观测值 z是 topic
2)SVD分解
词向量压缩 从20000维压缩到2维,通过算夹角余弦来计算相似度。
3)
4)
6.
7.