第二次作业

1.设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0≤H(X)≤log₂M。

证：(1)当M=1则P(X)=1

       H(X)=-∑(P(X)*P(X))=-1*(1/1)*log₂1=0

　　当M>1时，取每个字母的概率为P(Xi)，当每个符号出现一次，则

　　H(X)=-∑p(X_i)*logP(X_i)=-M*(1/M)*log₂M=log₂M(i=1...M)

     因为每一个符号出现的次数不只是一次

     故0≤H(X)≤log₂M

2.证明如果观察到一个序列的元素为idd发布，则该序列的熵等于一阶熵。

 证：由香农证明的：对于一个平稳的信源，在极限的情况下，这个值将收敛于熵

                           

如果观察到一个序列的元素为idd发布，则

                           

熵就是：

                           

而一阶熵为

            H=∑P(X_i)i(X_i)=-∑p(X_i)㏒p(X_i)

             ∴H=H(s)

所以如果观察到一个序列的元素为idd发布，则该序列的熵等于一阶熵正确

3.给定符号集A={a₁,a₂,a₃,a₄}，求以下条件的一阶熵：

(a)p(a₁)=p(a₂)=p(a₃)=p(a₄)=1/4

解：H(X)=-1/4×4×log_2(1/4)

           =1( 比特/字符)

(b)p(a₁)=1/2,p(a₂)=1/4,p(a₃)=p(a₄)=1/8

解：H(X)=-1/2×log₂(1/2)-1/4×log₂(1/4)-2×1/8×log₂(1/8)

           =1/2+1/2+3/4

         =1.75()

(c)p(a₁)=0.505,p(a₂)=1/4,p(a₃)=1/8,p(a₄)=0.12

解：H(X)=-0.505×log₂(0.505)-1/4×log₂(1/4)-1/8×log₂(1/8)-0.12×log₂(0.12)

           =-0.505×log₂(0.505)+1/2+3/8-0.12×log₂(0.12)

          ≈1.73981782