摘要：
一些信息熵的含义(1) 信息熵的定义：假设X是一个离散随即变量，即它的取值范围R={x1，x2...}是有限可数的。设pi=P{X=xi}，X的熵定义为： (a)若(a)式中，对数的底为2，则熵表示为H2(x)，此时以2为基底的熵单位是bits，即位。若某一项pi=0，则定义该项的pilogpi-1为0。(2) 设R={0,1}，并定义P{X=0}=p，P{X=1}=1-p。则此时的H(X)=-plogp-(1-p)log(1-p)。该H(x)非常重要，称为熵函数。熵函数的的曲线如下图表示：再者，定义对于任意的x∈R，I(x)=-logP{X =x}。则H(X)就是I(x)的平均值。此时的I( 阅读全文
