第二次作业

1，设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0≤H(X)≤log₂M。

证明： 当随机变量X的取值范围包含的M个字母完全相同时，即M=1时，H(X)=-∑(P(X_i)*log₂P(Xi))=-(1*log₂1)=0,此时H(X)最小；

         当当随机变量X的取值范围包含的M个字母不相同时，即M>1时，取每个字母的概率P(X_i)相等，则

         H(X)=-∑(P(X_i)*log₂P(Xi))=-M(1/M*log₂M)=log₂M，此时H(X)最大。

         所以0≤H(X)≤log₂M

 

2，证明如果观察到一个序列的元素为idd分布，则该序列的熵等于一阶熵。

 证明：因为熵H(X)=lim_n→∞1/n*G_n

          G_n=-∑i1=1^i1=m∑i2=1^i2=m.....∑in=1^in=mP(X₁=i1,X₂=i2,....X_n=in)*logP(X₁=i1,X₂=i2,....X_n=in)

          因为该序列被观察到每个元素是独立同（idd）分布的，所以

          G_n=-n∑i1=1^i1=mP(X₁=i1)*logP(X₁=i1)，则

          H(X)=-∑P(X₁=i1)*logP(X₁=i1)为一阶熵。

 

3，给定符号集A={a₁,a₂,a₃,a₄}，求以下条件下的一阶熵。

（a）、P(a₁)=P(a₂)=P(a₃)=P(a₄)=1/4

解：H(A)=-∑P(a_i)*logP(a_i)=-4*(1/4*log₂1/4)=2

（b）P(a₁)=1/2，P(a₂)=1/4，P(a₃)=P(a₄)=1/8

解：H(A)=-∑P(a_i)*logP(a_i)=-(1/2*log₂1/2+1/4*log₂1/4+2*1/8*log₂1/8)=7/4

（c）P(a₁)=0.505，P(a₂)=1/4，P(a₃)=1/8，P(a₄)=0.12

解：H(A)=-∑P(ai)*logP(ai)=-(0.505*log₂0.505+1/4*log₂1/4+1/8*log₂1/8+0.12*log₂0.12)

            =1/2+3/8-0.505*log₂0.505-0.12*log₂0.12

            =7/8-0.505*log₂0.505-0.12*log₂0.12