君子博学而日参省乎己 则知明而行无过矣

博客园 首页 新随笔 联系 订阅 管理
主题模型之概率潜在语义分析（Probabilistic Latent Semantic Analysis）

上一篇总结了潜在语义分析（Latent Semantic Analysis, LSA），LSA主要使用了线性代数中奇异值分解的方法，但是并没有严格的概率推导，由于文本文档的维度往往很高，如果在主题聚类中单纯的使用奇异值分解计算复杂度会很高，使用概率推导可以使用一些优化迭代算法来求解。

Thomas Hofmann 于1998年根据似然原理定义了生成模型并由此提出了概率潜在语义分析模型（Probabilistic Latent Semantic Analysis），简称PLSA。

PLSA属于概率图模型中的生成模型，相关的模型还有语言模型中的一元模型（Unigram Model）、混合一元模型（Mixture of Unigrams Model）等。

首先对文集进行设定。假设文集的词典中共有V个词，词典向量为\mathrm{V}=\{w_{1},w_{2},\cdots,w_{V}\}，假设词是独立同分布的（一袋子词），即p(\mathrm{w})=\prod_{m=1}^{V}p(w_{m})，一篇文章可以表示为d=\{w_{1}:n_{1},w_{2}:n_{2},\cdots,w_{M}:n_{M}\}，其中n_{i}表示第i个词在当前文档中出现的次数。

 

一元模型中假设每篇文档的词都独立遵从于多项式分布，即假设词典中第i个词w_{i}在文档中出现的次数遵从多项式分布，即p(n_{i}=x) \sim Multinomial(p(w))。打个比方来说假设我们有一个V面的骰子，骰子第i面向上的概率为p(w_{i})，每掷一次骰子得到一个词，掷M次后便得到一篇由M个词组成的文档d（文档的词之间是独立同分布的）。根据多项式分布可以知道文档d的概率为

p(d)=p(\mathrm{w})=p({w_{1}:n_{1},w_{2}:n_{2},\cdots,w_{M}:n_{M}})=\frac{M!}{n_{1}!n_{2}!\cdots n_{M}}\prod_{i=1}^{M}p(w_{i})^{n_{i}}

下图中图（a）便是一元语言模型的概率图模型，而图（b）中是PLSA的概率图模型。

 

PLSA模型中与一元模型中假设词遵从多项式分布不同，PLSA模型中引入了潜层变量z\in\mathrm{Z}=\{z_{1},z_{2},\cdots, z_{K}\}作为主题变量，即假设当前文集由K个主题构成。设d_{m}为文集中的第m篇文档，z_{t}表示第t个主题，w_{i}为第i个词。p(\mathrm{d})为所有文档的概率分布，p(d_{m})是文档d_{m}的概率，p(\mathrm{z}|d_{m})为文档d_{m}对应的主题的分布，p(\mathrm{w}|z_{t})为主题z_{t}对应的词的分布。

PLSA模型的生成过程如下：

  1. 根据概率p(d)选择一篇文档d_{m}
  2. 根据概率p(\mathrm{z}|d_{m})选择一个潜性主题z_{t}，并且z\sim Multinomial(d_{m})
  3. 根据概率p(\mathrm{w}|z_{t})生成一个词w_{i}，并且w\sim Multinomial(\mathrm{z_{t}})

当然每个模型都对文集有一定的假设，PLSA做了如下的假设：

  1. 并元(w_{i},d_{m})的每一对共现是独立的
  2. 当已知潜性变量z的时候，变量w和变量d是条件独立的。

PLSA最初是根据视面模型（Aspect Model）提出的，假设1与一元模型中的“一袋子词”的假设相似，假设2与PLSA定义的图模型的生成关系有关，PLSA的图模型类似于X->Z->Y这种模式，在贝叶斯网络中被称为间接因果影响（“Indirect Causal Effect”）。举个例子来说，X表示你口袋里有没有2块钱，Z表示你能不能买一只笔，Y表示你能不能参加考试。假如不知道你能不能买一支笔（Z），那么你口袋里有没有2块钱（X）将影响到你能不能参加考试（Y）。但是假如你已经知道你是否可以买一只笔（Z），则你口袋里有没有2块钱（X）就影响不到你能不能参加考试了（Y）。即已知变量Z，变量X和Y是独立的。

PLSA最终是要求得每个并元(w_{i},d_{m})对应主题的概率，即p(\mathrm{z}|\mathrm{w},\mathrm{d})。下面我们来推导公式。PLSA使用极大似然估计（MLE）。

首先求解隐变量z的对数似然函数\mathcal{L(z|d,w)}：

\mathcal{L(z|w,d)}=\log p(w,d|z)

由于PLSA模型的假设1，所以有：

\mathcal{L(z|w,d)}= \log\prod_{w,d|z}p(w,d|z)^{n_{n,m}}=\Sigma_{m=1}^{M}\Sigma_{n=1}^{N}n(n,m)\log p(w_{m,n},d_{m}|z)

其中n(n,m)表示第n篇文档中的第m个词出现的次数。

又由于在已知变量z的情况下d和w是独立的，可得：

\mathcal{L}=\Sigma_{m=1}^{M}\Sigma_{n=1}^{N}n(n,m)\log (p(w_{m,n}|z)p(d_{m}|z))

PLSA使用EM算法求解极大似然，EM算法是一种机器学习中非常常用的迭代近似算法。一般用来求解得到极大似然或极大后验的参数值。E步指的是在当前参数的情况下隐变量的后验概率（Expectation），M步指的是求解得到极大似然或极大后验的参数值（Maximization）。

首先计算上面似然函数的期望值：

\mathbb{E}[\mathcal{L}]=\Sigma_{k=1}^{K}(p(z_k|w,d)\mathcal{L})=\Sigma_{m=1}^{M}\Sigma_{n=1}^{N}n(m,n)\Sigma_{k=1}^{K}p(z_k|w_{m,n},d_{m})\log(p(w_{m,n}|z_{k})p(d_{m}|z_{k}))

上式有两个限制条件：

\Sigma_{m=1}^{M}p(w_{m,n}|z_{k}) = 1

\Sigma_{z=1}^{K}p(d_{m}|z_{k}) = 1

根据拉格朗日乘数法进行极值推导，分别对两个约束设定两个参数\lambda，\tau：

\bigwedge = \mathbb{E}[\mathcal{L}]+\Sigma_{m=1}^{M}\Sigma_{k=1}^{K}(\lambda_{m,k} (1-\Sigma_{n=1}^{N}p(w_{m,n}|z_{k}) ))+ \Sigma_{m = 1}^{M}\tau_{m} (1-\Sigma_{k=1}^{K}p(d_{m}|z_{k}))

在上式中分别对变量p(w_{n,m}|z_{k})和p(d_{n}|z_{k})求偏导得到：

n(m,n)\frac{p(z_{k}|d_{m},w_{m,n})}{p(w_{m,n}|z_{k})}-\lambda_{m,k}=0

\Sigma_{n=1}^{M}\frac{p(z_{k}|d_{m},w_{m,n})}{p(d_{m}|z_{k})}-\tau_{m}=0

与之前的限制条件联立得到：

p(w_{m,n}|z_{k})=\frac{n(m,n)p(z_{k}|w_{m,n},d_{m})}{\Sigma_{n=1}^{N}n(m,n)p(z_{k}|w_{m,n},d_{m})}

p(d_{m}|z_{k})=\frac{\Sigma_{n=1}^{N}n(m,n)p(z_{k}|w_{m,n},d_{m})}{\Sigma_{k=1}^{K}\Sigma_{n=1}^{N}n(m,n)p(z_{k}|w_{m,n},d_{m})}

于是便得到了M步求最大化的等式。

PLSA的EM步骤便可以化简如下：

E步：计算变量z的后验概率p(z_k|w_{m,n},d_{m})

M步：计算p(w_{m,n}|z_{k})，p(w_{m,n}|z_{k})

PLSA的问题便是在变量中含有文档d这个变量，在模型上受限使其很难应用到其他文档上去。之后David Blei提出的LDA（Latent Dirichlet Allocation）便是给文集设定了两个超参来省略掉文档这个固定变量。

PLSA的实现C++代码：【还未上传】

https://blog-potatolife.rhcloud.com/?p=147

posted on 2015-09-17 08:56  刺猬的温驯  阅读(2898)  评论(0)  编辑  收藏  举报