摘要： 1.信息熵 ①H(x) = - ∑ p(xi) log p(xi) ②熵是不确定性的度量，越不确定，越混乱，熵越大。 ③越平均的时候，熵越大。 2.交叉熵 ①两个概率分布p(x)和q(x)，p分布已知，q未知，交叉熵函数就是两个分布的互信息，反应其相关程度，交叉熵越小越相关，两个分布越接近，分类器效 阅读全文

摘要： 参考： https://www.cnblogs.com/lyrichu/p/7209529.html 阅读全文