[Bayes] Concept Search and PLSA

【Topic Model】主题模型之概率潜在语义分析(Probabilistic Latent Semantic Analysis)

感觉LDA在实践中的优势其实不大，学好pLSA才是重点

阅读笔记

 

PLSI

2008年的时候，pLSA已经被新兴的LDA掩盖了。

LDA是pLSA的generalization：LDA的hyperparameter设为特定值的时候，就specialize成pLSA了。

从工程应用价值的角度看，这个数学方法的generalization，允许我们用一个训练好的模型解释任何一段文本中的语义。而pLSA只能理解训练文本中的语义。

 

LSA主要使用了线性代数中奇异值分解的方法，但是并没有严格的概率推导，由于文本文档的维度往往很高，如果在主题聚类中单纯的使用奇异值分解计算复杂度会很高，使用概率推导可以使用一些优化迭代算法来求解。

Thomas Hofmann 于1998年根据似然原理定义了生成模型并由此提出了概率潜在语义分析模型（Probabilistic Latent Semantic Analysis），简称PLSA。

PLSA属于概率图模型中的生成模型，相关的模型还有语言模型中的一元模型（Unigram Model）、混合一元模型（Mixture of Unigrams Model）等。

首先对文集进行设定。假设文集的词典中共有V个词，词典向量为\mathrm{V}=\{w_{1},w_{2},\cdots,w_{V}\}，假设词是独立同分布的（一袋子词），即p(\mathrm{w})=\prod_{m=1}^{V}p(w_{m})，

一篇文章可以表示为d=\{w_{1}:n_{1},w_{2}:n_{2},\cdots,w_{M}:n_{M}\}，其中n_{i}表示第i个词在当前文档中出现的次数。(无须考虑顺序性)

 

-- 多项分布 --

一元模型中假设每篇文档的词都独立遵从于多项式分布，即假设词典中第i个词w_{i}在文档中出现的次数遵从多项式分布，

即p(n_{i}=x) \sim Multinomial(p(w))。打个比方来说假设我们有一个V面的骰子，骰子第i面向上的概率为p(w_{i})，每掷一次骰子得到一个词，掷M次后便得到一篇由M个词组成的文档d（文档的词之间是独立同分布的）。根据多项式分布可以知道文档d的概率为：

p(d)=p(\mathrm{w})=p({w_{1}:n_{1},w_{2}:n_{2},\cdots,w_{M}:n_{M}})=\frac{M!}{n_{1}!n_{2}!\cdots n_{M}}\prod_{i=1}^{M}p(w_{i})^{n_{i}}

（a）便是一元语言模型的概率图模型，

（b）中是PLSA的概率图模型。

 

 

PLSA模型中与一元模型中假设：词遵从多项式分布不同。

PLSA模型中引入了潜层变量z\in\mathrm{Z}=\{z_{1},z_{2},\cdots, z_{K}\}作为主题变量，即假设当前文集由K个主题构成。

  • 设d_{m}为文集中的第m篇文档，
  • z_{t}表示第t个主题，
  • w_{i}为第i个词。
  • p(\mathrm{d})为所有文档的概率分布，
  • p(d_{m})是文档d_{m}的概率，
  • p(\mathrm{z}|d_{m})为文档d_{m}对应的主题的分布，
  • p(\mathrm{w}|z_{t})为主题z_{t}对应的词的分布。

 

PLSA模型的生成过程如下：

    1. 根据概率p(d)选择一篇文档d_{m}
    2. 根据概率p(\mathrm{z}|d_{m})选择一个潜性主题z_{t}，并且z\sim Multinomial(d_{m})
    3. 根据概率p(\mathrm{w}|z_{t})生成一个词w_{i}，并且w\sim Multinomial(\mathrm{z_{t}})

 

当然每个模型都对文集有一定的假设，PLSA做了如下的假设：

    1. 并元(w_{i},d_{m})的每一对共现是独立的（单词 与 文档 共现）
    2. 当已知潜性变量z的时候，变量w和变量d是条件独立的。

PLSA最初是根据 视面模型（Aspect Model）提出的，

    • 假设1与一元模型中的“一袋子词”的假设相似，
    • 假设2与PLSA定义的图模型的生成关系有关，PLSA的图模型类似于X->Z->Y这种模式，在贝叶斯网络中被称为间接因果影响（“Indirect Causal Effect”）。

举个例子来说：X表示你口袋里有没有2块钱，Z表示你能不能买一只笔，Y表示你能不能参加考试。

    • 假如不知道你能不能买一支笔（Z），那么你口袋里有没有2块钱（X）将影响到你能不能参加考试（Y）。
    • 假如你已经知道你是否可以买一只笔（Z），则你口袋里有没有2块钱（X）就影响不到你能不能参加考试了（Y）。即已知变量Z，变量X和Y是独立的。

 

PLSA最终是要求得每个并元(w_{i},d_{m})对应主题的概率，即p(\mathrm{z}|\mathrm{w},\mathrm{d})。下面我们来推导公式。PLSA使用极大似然估计（MLE）。

(以下高能)

首先求解隐变量z的对数似然函数\mathcal{L(z|d,w)}：

\mathcal{L(z|w,d)}=\log p(w,d|z)

  

由于PLSA模型的假设1，所以有：

\mathcal{L(z|w,d)}= \log\prod_{w,d|z}p(w,d|z)^{n_{n,m}}=\Sigma_{m=1}^{M}\Sigma_{n=1}^{N}n(n,m)\log p(w_{m,n},d_{m}|z)

 

其中n(n,m)表示第n篇文档中的第m个词出现的次数。

 

又由于在已知变量z的情况下d和w是独立的，可得：

\mathcal{L}=\Sigma_{m=1}^{M}\Sigma_{n=1}^{N}n(n,m)\log (p(w_{m,n}|z)p(d_{m}|z))

 

From: http://blog.csdn.net/yangliuy/article/details/8330640

为何 have to EM， 如下表述的更好：

其中是term 出现在文档中的次数。

注意这是一个关于和的函数，一共有N*K + M*K个自变量(注意这里M表示term的总数，一般文献习惯用V表示)，

如果直接对这些自变量求偏导数，我们会发现由于自变量包含在对数和中，这个方程的求解很困难。

因此对于这样的包含“隐含变量”或者“缺失数据”的概率模型参数估计问题，我们采用EM算法。

 

 

PLSA使用EM算法求解极大似然，EM算法是一种机器学习中非常常用的迭代近似算法。一般用来求解得到极大似然或极大后验的参数值。

E步指的是在当前参数的情况下隐变量的后验概率（Expectation），M步指的是求解得到极大似然或极大后验的参数值（Maximization）。

首先计算上面似然函数的期望值：

\mathbb{E}[\mathcal{L}]=\Sigma_{k=1}^{K}(p(z_k|w,d)\mathcal{L})=\Sigma_{m=1}^{M}\Sigma_{n=1}^{N}n(m,n)\Sigma_{k=1}^{K}p(z_k|w_{m,n},d_{m})\log(p(w_{m,n}|z_{k})p(d_{m}|z_{k}))

上式有两个限制条件：

\Sigma_{m=1}^{M}p(w_{m,n}|z_{k}) = 1

\Sigma_{z=1}^{K}p(d_{m}|z_{k}) = 1

 

根据拉格朗日乘数法进行极值推导，分别对两个约束设定两个参数\lambda，\tau：

\bigwedge = \mathbb{E}[\mathcal{L}]+\Sigma_{m=1}^{M}\Sigma_{k=1}^{K}(\lambda_{m,k} (1-\Sigma_{n=1}^{N}p(w_{m,n}|z_{k}) ))+ \Sigma_{m = 1}^{M}\tau_{m} (1-\Sigma_{k=1}^{K}p(d_{m}|z_{k}))

在上式中分别对变量p(w_{n,m}|z_{k})和p(d_{n}|z_{k})求偏导得到：

n(m,n)\frac{p(z_{k}|d_{m},w_{m,n})}{p(w_{m,n}|z_{k})}-\lambda_{m,k}=0

\Sigma_{n=1}^{M}\frac{p(z_{k}|d_{m},w_{m,n})}{p(d_{m}|z_{k})}-\tau_{m}=0

与之前的限制条件联立得到：

p(w_{m,n}|z_{k})=\frac{n(m,n)p(z_{k}|w_{m,n},d_{m})}{\Sigma_{n=1}^{N}n(m,n)p(z_{k}|w_{m,n},d_{m})}

p(d_{m}|z_{k})=\frac{\Sigma_{n=1}^{N}n(m,n)p(z_{k}|w_{m,n},d_{m})}{\Sigma_{k=1}^{K}\Sigma_{n=1}^{N}n(m,n)p(z_{k}|w_{m,n},d_{m})}

于是便得到了M步求最大化的等式。

 

PLSA的EM步骤便可以化简如下：

    • E步：计算变量z的后验概率p(z_k|w_{m,n},d_{m})
    • M步：计算p(w_{m,n}|z_{k})，p(w_{m,n}|z_{k})

 

PLSA的问题便是在变量中含有文档d这个变量，在模型上受限使其很难应用到其他文档上去。

之后David Blei提出的LDA（Latent Dirichlet Allocation）便是给文集设定了两个超参来省略掉文档这个固定变量。

 

 

其他资源： 

代码：http://hpc.cs.tsinghua.edu.cn/research/cluster/plsa/index.html 

 

Application

PLSA may be used in a discriminative setting, via Fisher kernels.

PLSA has applications in information retrieval and filtering, natural language processing, machine learning from text, and related areas.

It is reported that the aspect model used in the probabilistic latent semantic analysis has severe overfitting problems.

 

posted @ 2017-05-13 21:02  郝壹贰叁  阅读(379)  评论(0)  编辑  收藏  举报