芒果和小猫

摘要： 1 熵 1.1 香农熵（Shannon Entropy） 用来描述信息量的多少,随机变量不确定性的度量（metric），给定一个随机变量$X,p(x)=Pr{X=x},x\in\omega$ \[ H(X)= -\sum_{x\in\omega}{p(x)log_2p(x)} \] 1.2 联合熵（ 阅读全文