摘要：
微分熵 微分熵$H(f)$可以为负 正态分布的微分熵$\frac{1}{2}\log (2\pi e \sigma^{2})$ 连续AEP 熵的几何意义： 代表典型随机变量序列分布的边长的对数值*n 实际上是刻画典型集规模的物理量 微分熵和离散熵之间的关系 \(H(X^{\Delta}) \to h 阅读全文
摘要：
熵、相对熵、互信息 熵、信息量 信息量$I = -\log(P)$ 对称 非负 条件熵、联合熵 \(H(XY)\) 联合熵链式法则 \(H(X,Y) = H(X|Y) + H(Y)\)(联合熵增) \(H(X,Y|Z) = H(X|Z) + H(Y|X,Z)\)?? 相对熵、互信息 \(D(p||q 阅读全文