导航

伯努利分布和高斯分布下的最大似然估计、交叉熵

Posted on 2018-09-27 22:13  wzd321  阅读(3400)  评论(0编辑  收藏  举报

伯努利分布是一个离散型机率分布。试验成功,随机变量取值为1;试验失败,随机变量取值为0。成功机率为p,失败机率为q =1-p,N次试验后,成功期望为N*p,方差为N*p*(1-p) ,所以伯努利分布又称两点分布。

观察到的数据为D1,D2,D3,...,DN,极大似然的目标:

联合分布难计算,我们因此引入一个假设,独立同分布(i.i.d.),目标公式改变为:

将函数取对数,函数的极值点不会改变,公式变为:

伯努利分布下随机变量的最大似然计算方法,P(X=1)=p,P(X=0)=1-p:

对p求导可得:

令导数为0,得:

高斯分布下最大似然估计法:

对期望求导:

令导数为0:

对方差求导,令导数为0: