交叉熵做损失函数

 

 思考，如何理解相对熵是负数？相对熵有没有可能是负数？

相对熵永远不能是负数

 

 因为你犯错误的信息量一定比原来的信息量要大！