摘要：信息熵 设$X$是取有限个值的随机变量，$X\in{x_1,x_2,\cdots,x_n},\ i=1,2,\cdots,n$，则随机变量$X$的熵定义为： $$H(X)=-\sum_{i=1}^n P(X=x_i)\log_aP(X=x_i)$$ $H(X)$作为$X$对应的随机场的不确定性的度量 阅读全文