摘要：
本文将介绍信息量，熵，交叉熵，相对熵的定义，以及它们与机器学习算法中代价函数的定义的联系。转载请保留原文链接：http://www.cnblogs.com/llhthinker/p/7287029.html 1. 信息量 信息的量化计算： 解释如下： 信息量的大小应该可以衡量事件发生的“惊讶程度”或 阅读全文
摘要：
转自https://zhuanlan.zhihu.com/p/647312079 通俗理解：一个事件从不确定变为确定的难度有多大 往往某件事情发生概率越低，信息量越大，从不确定变为确定的难度越大 ex：【中国队想要在世界杯夺冠】这一事件发生概率极极极低，信息量非常大，想要实现即“从不确定变为确定”的 阅读全文
