信息熵、交叉熵、KL散度等等
摘要：
信息熵，KL散度，交叉熵 写在前面 KL散度只是作为距离度量的一种“不完美”的手段，其被提出的出发点不是为了距离度量 信息熵 信息熵是系统信息含量的量化指标。香农描述了信息熵的三个性质： 单调性，且概率越高，信息量越低 非负性 累加性，即多随机事件同时发生的总不确定性的度量应等于各事件自身不确定性度 阅读全文
posted @ 2021-05-23 13:23 czhhbp 阅读(190) 评论(0) 推荐(0) 编辑