信息熵 交叉熵

https://www.zhihu.com/question/41252833

总结下:信息熵衡量了系统的不确定性. 信息熵可以视为:在已知真实分布的情况下,我们可以找到一个最优策略,以最小代价去消除系统的不确定性.这个最小代价就是信息熵.

交叉熵:在给定的真实分布下,使用某种策略,去消除系统的不确定性,所需付出的代价.

深度学习里,loss常常选择交叉熵,优化交叉熵的过程就是使得

在给定的真实分布下,使用某种策略,去消除系统的不确定性,所需付出的代价.

中所需付出代价最小,也即在已知真实分布(groud truth)的情况下,去寻找最优策略(prediction逼近groud truth)的过程.

信息熵:H(p) = sum(plog(1/p))=sum(-plog(p))
交叉熵:H(p,q) = sum(plog(1/q))=sum(-plog(q)) p为真实分布,q为预测分布

信息熵可以认为是最优策略,交叉熵可以认为是模型学习到的某个策略. 这两个策略之间的差异可以用相对熵来表示:
KL(p||q) = H(p,q) - H(p)