损失函数

目的：

根据标签值与预测值计算损失

• 交叉熵
  \(J = -\sum\limits_{k}y_k\log{h_k}\)
  信息熵可以用来表示信息的不确定程度
  相对熵(KL散度)可以用来描述两个概率分布之间的差异
  相对熵 = 交叉熵 - 信息熵
  在信息熵固定的情况下，优化减小交叉熵也就是优化相对熵
  又因为交叉熵比较简单，所以常用交叉熵表示损失函数
  https://zhuanlan.zhihu.com/p/70804197