机器学习:EM 算法
EM 算法(Expectation Maximization 期望最大化)是一种迭代算法,用于含有隐变量的概率模型参数的极大似然估计
比如班里有 100 个学生,我们拥有所有人的身高数据,但不知道哪些是男生,哪些是女生,未知的性别就是隐变量
1. 先自己假设男生的正态分布的参数、女生的正态分布的参数
2. 依据这两个正态分布判断,是男生概率大就假定是男生,是女生概率大就假定是女生
3. 依据求出的男女生数据,再通过极大似然估计,再计算两个正态分布的参数
4. 重复第 2 步和第 3 步,其中第 2 步又被称为 E Step,第 3 步又被称为 M Step
5. 数学上可以证明这样做可以靠近正确值,但不一定能得到正确值