似然估计中为什么要取对数以GMM为例

  1.往往假设特征之间独立同分布,那么似然函数往往是连城形式,直接求骗到不好搞,根据log可以把连乘变为连加。

  2.另外概率值是小数,多个小数相乘容易赵成浮点数下溢,去log变为连加可以避免这个问题。

  若果原始似然函数中没有连加和,那么去对术后没有log(a+b)的形式,此时可以用GD,否则用EM,村塾个人理解。

以GMM来理解,包含log(a+b)往往是因为包含了因变量,GMM中隐变量就是每条记录属于的类别,如果知道了类别,那么权重为每类中的个数除以总的个数,均值为类中数据的加权平均,方差为数据减去均值开放。

  首先需要从GMM中取出一个数据,假设,pi,miu和sigam一直,那么该数据来自不同成分的概率为权重*高斯分布的归一化,这是E步,然后pi(i)=各个数据点属于i累的概率的平均值,u(i)=概率值乘以数值,sigima(i)=概率值乘以记录减去miu(i)。

posted @ 2016-06-20 11:27  加拿大小哥哥  阅读(3734)  评论(0编辑  收藏  举报