交叉熵

 

 

熵考察的是单个的信息（分布）的期望：

 

H(p)=−∑i=1np(xi)logp(xi)

 

交叉熵考察的是两个的信息（分布）的期望： 

H(p,q)=−∑i=1np(xi)logq(xi)