期望最大化EM算法(2)

一般形式的EM算法

  期望最大化算法或者EM算法是，求解具有潜在变量的概率模型的最大似然解的一种通用方法。这里给出一般形式的EM算法，并启发式地推导EM算法最大化了似然函数。

  考虑一个概率模型，将其中所有的观测变量联合起来记为\(X\), 将所有的与观测变量对应的潜在变量记为\(Z\)。联合概率分布\(p(X,Z|\theta)\)由一组参数控制，记为\(\theta\)。我们的目标是最大化似然函数

\[p(X|\theta) = \sum_{Z}p(X,Z|\theta) \tag{9.69} \]

  假设： 直接最优化\(p(X|\theta)\)比较困难，但是最优化完整数据似然函数 \(p(X,Z|\theta)\)就比较容易。

接下来，引入一个定义在潜在变量上的分布\(q(Z)\)，于是对于任意的\(q(Z)\)，下面的分解成立^[注1]。

\[log\ p(X|\theta) = L(q,\theta) + KL(q||p) \tag{9.70} \]

其中,

\[L(q,\theta) = \sum_{Z} q(Z) log \ \{ \frac{p(X,Z|\theta)}{q(Z)} \} \tag{9.71} \]

\[KL(q||p) = \sum_Z q(Z) log \ \{ \frac {q(Z)}{p(Z|X,\theta)} \} \tag{9.72} \]

注意：\(L(q,\theta)\) 是概率分布\(q(Z)\) 的一个泛函，也是参数参数 \(\theta\)的一个函数。

  由于KL散度始终大于等于0，因此\(L(q,\theta)\)是\(log \ p(X|\theta)\)的一个下界。 关于对数似然函数、下界和KL散度的三者关系如图9.11所示。

Fig. 9.11

  下面是想通过最大化下界\(L(q,\theta)\)来最大化\(log \ p(X|\theta)\)。

  在EM算法中E步骤中，在参数\(\theta^{old}\)固定情况下，关于分布\(q(Z)\)最大化下界\(L(q,\theta^{old})\)。由于\(log \ p(X|\theta)\)不依赖\(q(Z)\)，因此\(L(q,\theta^{old})\)的最大值出现在KL散度等于零的时候，即最大值出现在\(q(Z)\)与后验概率分布\(p(Z|X,\theta^{old})\)相等的时候。此时下界等于最大似然函数，如图9.12所示。

Fig. 9.12 当$q(Z)$设置为在当前参数$\theta^{old}$下的后验概率分布时，此时KL散度为0，似然函数的下界上移到与其值相同的位置。

  在EM算法的M步骤中，分布\(q(Z)\)保持固定，下界\(L(q,\theta)\)关于\(\theta\)最大化，得到了某个新的值\(\theta^{new}\)，这会是的下界增大（除非已经达到了极大值）。由于在此过程中，分布\(q(Z)\)固定不变且是由旧的参数值\(\theta^{old}\)确定(\(q(Z)=p(Z|X,\theta^{old})\))，它不会等于新的后验概率分布\(p(Z|X,\theta^{new})\)，从而KL散度非零。于是对数似然函数的增加量就等于下界的增加量加上KL散度(非零)，因此对数似然函数的增加量大于下界的增加量。如图9.13所示。

Fig. 9.13

  将\(q(Z) = p(Z|X,\theta^{old})\)代入(9.71)，可以看到E步骤之后，下界的形式为

\[L(q,\theta) = \sum_Z p(Z|X,\theta^{old}) log \ p(X,Z|\theta) - \sum_Z p(Z|X,\theta^{old}) log \ p(Z|X,\theta^{old}) = \mathcal{Q}(\theta, \theta^{old}) + 常数 \]

从而在M步骤中，最大化的量时完整数据对数似然函数的期望，优化变量\(\theta\)只出现在对数运算内部。如果联合概率分布\(p(X,Z|\theta)\)是由指数形式，那么对数运算会抵消指数运算，从而使得M步骤最大化要比最大化不完整数据对数似然函数\(p(X|\theta)\)要容易很多。

注1： 公式(9.70)是如何推导的呢？
  为方便理解，下面推导省略 \(\theta\)，并以连续变量形式进行，离散形式同理。\(p(X) = \frac{p(X,Z)}{p(Z|X)}\)，因为要引入关于潜在变量\(Z\)的概率分布\(q(Z)\)，因此自然想到

\[p(X) = \frac{p(X,Z)}{p(Z|X)} = \frac{p(X,Z)}{q(Z)} \cdot \frac{q(Z)}{p(Z|X)} \]

两边同时取对数得到

\[log \ p(X) = log \ \frac{p(X,Z)}{q(Z)} + log \ \frac{q(Z)}{p(Z|X)} \]

观察公式(9.71)和(9.72)，对数前面都乘以了\(q(Z)\)，这里就要用到概率分布关于对应变量求积分或求和等于1的特性。于是对上述公式两边同时乘以\(q(Z)\)再取关于变量\(Z\) 的积分得

\[\int q(Z)log \ p(X) dZ = \int q(Z) log \ \frac{p(X,Z)}{q(Z)} dZ + \int q(Z) log \ \frac{q(Z)}{p(Z|X)} dZ \]

由于\(\int q(Z)log \ p(X) dZ\)中求积分是关于变量\(Z\)的，与\(log \ p(X)\)没有关系，可以写到积分号外面，因此\(\int q(Z)log \ p(X) dZ = log \ p(X) \int q(Z)dZ = log \ p(X)\)。因此对应公式(9.70)左侧，乘以\(q(Z)\)并取积分，并没有改变其值。最终得到

\[log \ p(X) = \int q(Z) log \ \frac{p(X,Z)}{q(Z)} dZ + \int q(Z) log \ \frac{q(Z)}{p(Z|X)} dZ \]

其中，

\[L(q,\theta) = \int q(Z) log \ \frac{p(X,Z)}{q(Z)} dZ \]

\[KL(q||p) = \int q(Z) log \ \frac{q(Z)}{p(Z|X)} dZ \]

使用离散写法就是上述公式(9.70)和(9.71)。更详细地推导方式可以参考《VAE变分自编码器公式推导》https://www.cnblogs.com/wolfling/p/16452537.html