EM算法：入门案例
概率分布
| 4种实验结果 | \(E_1\) | \(E_2\) | \(E_3\) | \(E_4\) |
|---|---|---|---|---|
| 记录它们发生的次数 | \(y_1\) | \(y_2\) | \(y_3\) | \(y_4\) |
| 记录次数结果 | 125 | 18 | 20 | 34 |
| 4种结果发生的概率 | \(\frac{1}{2}-\frac{\theta}{4}\) | \(\frac{1}{4}-\frac{\theta}{4}\) | \(\frac{1}{4}+\frac{\theta}{4}\) | \(\frac{\theta}{4}\) |
求\(\theta\)的估计值？
法 1：采用最大似然估计
\[L(\theta) = \frac{(y_1+y_2+y_3+y_4)!}{y_1! y_2! y_3!y_4!}(\frac{1}{2}-\frac{\theta}{4})^{y_1}(\frac{1}{4}-\frac{\theta}{4})^{y_2}(\frac{1}{4}+\frac{\theta}{4})^{y_3}(\frac{\theta}{4})^{y_4} = C\times (\frac{1}{2}-\frac{\theta}{4})^{y_1}(\frac{1}{4}-\frac{\theta}{4})^{y_2}(\frac{1}{4}+\frac{\theta}{4})^{y_3}(\frac{\theta}{4})^{y_4}
\]
\[\ln L(\theta) = \ln [C\times (\frac{1}{2}-\frac{\theta}{4})^{y_1}(\frac{1}{4}-\frac{\theta}{4})^{y_2}(\frac{1}{4}+\frac{\theta}{4})^{y_3}(\frac{\theta}{4})^{y_4}]
\]
\[\ln L(\theta) = \ln C+y_1\ln (\frac{1}{2}-\frac{\theta}{4}) + y_2\ln (\frac{1}{4}-\frac{\theta}{4})+y_3\ln (\frac{1}{4}+\frac{\theta}{4})+y_4 \ln (\frac{\theta}{4})
\]
\[\frac{\partial \ln L(\theta) }{\partial\theta}=-\frac{y_1}{2-\theta}-\frac{y_2}{1-\theta}+\frac{y_3}{1+\theta}+\frac{y_4}{\theta}=0
\]
\[-\frac{125}{2-\theta}-\frac{18}{1-\theta}+\frac{20}{1+\theta}+\frac{34}{\theta}=0
\]
上面估计\(\theta\)的方程是一个关于\(\theta\)的一元三次方程，问题是不容易求解。
问题转化求解：EM算法
引入隐藏变量\(Z\)，从新对概率分布进行分配。
| 4种实验结果 | \(E_1\) | \(E_2\) | \(E_3\) | \(E_4\) | ||
|---|---|---|---|---|---|---|
| 记录它们发生的次数 | \(y_1\) | \(y_2\) | \(y_3\) | \(y_4\) | ||
| 记录次数结果 | 125 | 18 | 20 | 34 | ||
| 4种结果发生的概率 | \(\frac{1}{2}-\frac{\theta}{4}\) | \(\frac{1}{4}-\frac{\theta}{4}\) | \(\frac{1}{4}+\frac{\theta}{4}\) | \(\frac{\theta}{4}\) | ||
| 隐藏变量 | \(z_1\) | \(z_2\) | \(z_3\) | \(z_4\) | \(z_5\) | \(z_6\) |
| 发生的概率 | \(\frac{1}{4}-\frac{\theta}{4}\) | \(\frac{1}{4}\) | \(\frac{1}{4}-\frac{\theta}{4}\) | \(\frac{\theta}{4}\) | \(\frac{1}{4}\) | \(\frac{\theta}{4}\) |
存在的关系为：\(y_1=z_1+z_2\; ;y_2=z_3\;;y_3=z_4+z_5\;;y_4=z_6\)
从新计算似然函数
\[L(\theta) = \frac{(z_1+z_2+z_3+z_4+z_5+z_6)!}{z_1! z_2! z_3!z_4!z_5!z_6!}(\frac{1}{4}-\frac{\theta}{4})^{z_1} (\frac{1}{4})^{z_2}(\frac{1}{4}-\frac{\theta}{4})^{z_3}(\frac{\theta}{4})^{z_4} (\frac{1}{4})^{z_5}(\frac{\theta}{4})^{z_6}
\]
\[\ln L(\theta) = \ln C + z_1\ln (\frac{1}{4}-\frac{\theta}{4})+z_2\ln (\frac{1}{4})+z_3\ln(\frac{1}{4}-\frac{\theta}{4})+z_4\ln(\frac{\theta}{4})+z_5\ln(\frac{1}{4})+z_6\ln(\frac{\theta}{4})
\]
\[\frac{\partial \ln L(\theta) }{\partial\theta}=-\frac{z_1+z_3}{1-\theta}+\frac{z_4+z_6}{\theta}=0
\]
求解上式，我们发现由原来的一元三次方程变为了非常容易求解的方程，求解难度减少。
\[\theta^* = \frac{z_4+z_6}{z_4+z_6+z_1+z_3}=\frac{z_4+y_4}{z_4+y_4+z_1+y_2}=\frac{z_4+34}{z_4+34+z_1+18}
\]
求解难度降低了，但是我们发现\(z_1\;;z_4\)不知道，我们该如何解决呢？
根据 \(y_1=z_1+z_2\; ;y_2=z_3\;;y_3=z_4+z_5\;;y_4=z_6\)；可以得知
\[z_1\sim B(y_1, \frac{\frac{1}{4}-\frac{\theta}{4}}{\frac{1}{2}-\frac{\theta}{4}}=\frac{1-\theta}{2-\theta})
\]
\[z_4 \sim B(y_3, \frac{\frac{\theta}{4}}{\frac{1}{4}+\frac{\theta}{4}}=\frac{\theta}{1+\theta})
\]
- 第一步：（E步骤）目的是消去潜在变量 \(z_1\;;z_4\)\[E(z_1)= y_1\times \frac{1-\theta}{2-\theta}=125\times \frac{1-\theta}{2-\theta} \]\[E(z_4)= y_3\times \frac{\theta}{1+\theta}=20\times \frac{\theta}{1+\theta} \]令 \(z_1 = E(z_1)\;; z_4=E(z_4)\)
- 第二部：（M步骤）目的是最大化估计值\(\theta^*\)\[\theta^* =\frac{z_4+34}{z_4+34+z_1+18}=\frac{20\times \frac{\theta}{1+\theta}+34}{20\times \frac{\theta}{1+\theta}+34+125\times \frac{1-\theta}{2-\theta}+18} \]
- 采用迭代法求解\(\theta^*\)
\[\theta^{i+1} =\frac{20\times \frac{\theta^i}{1+\theta^i}+34}{20\times \frac{\theta^i}{1+\theta^i}+34+125\times \frac{1-\theta^i}{2-\theta^i}+18}
\]
任取 \(\theta \in (0,1)\) ，开始迭代。
eg: \(\theta^0=0.5\) 开始，计算出\(\theta^1\;;\theta^2\;;\theta^3\;;\cdots\) 直到收敛
