2022年2月15日
信息熵 交叉熵 KL散度
摘要： 信息量 事件A发生的信息量： \[ I(A) = -\log_2(P(A)) \] 这样定义有以下好处： 概率越小的事件发生，带来的信息量就越大。 相互独立的事件A,B同时发生，信息量为A、B单独发生时信息量的和： \[ \begin{align} I(AB) =&& -\log_2(P(AB)) 阅读全文
posted @ 2022-02-15 00:34 BinarySong 阅读(94) 评论(0) 推荐(0) 编辑