摘要： 熵：可以表示一个事件A的自信息量，也就是A包含多少信息。 KL散度：可以用来表示从事件A的角度来看，事件B有多大不同。 交叉熵：可以用来表示从事件A的角度来看，如何描述事件B。 一种信息论的解释是： 熵的意义是对A事件中的随机变量进行编码所需的最小字节数。 KL散度的意义是“额外所需的编码长度”如果 阅读全文