140705010001 朱晓秋 第二次作业

1.设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0<=H(X)<=log₂^M。

 

证：　　由题得:

 

　　　　　　　　X={m1,m2,...,mn} （包含M个字母）

 

　　　　1） 当M=1时，H(X)最小

 

　　　　　　即 H(x)=-ΣP(xi=ai)*logP(xi=ai) = 1*log(1) = 0

 

　　　　　　从而 H(x)min=0

 

　　　　2） 当M≠0时， H(x)=-ΣP(xi=ai) logP(xi=ai) = -M*1/M*log2M = log2M

 

　　　　　　即 H(x)max=log2M

 

　　　　　　综上可知，0≤H(x)≤log2M 。

 

 

2.证明如果观察到一个序列的元素为iid分布，则该序列的熵等于一阶熵。

证明：       

因为：H(X)=lim_n→∞1/n*G_n

G_n=-∑_i1∑i2.....∑inP(X₁=i1,X₂=i2,....X_n=in)*logP(X₁=i1,X₂=i2,....X_n=in)     i1，i2....in=1...m

如果序列为iid序列分布，则

G_n=-n∑i1P(X₁=i1)*logP(X₁=i1)，i1=1...m

则

H(X)=-∑P(X₁=i1)*logP(X₁=i1)为一阶熵。

 

3、给定符号集A={a₁,a₂,a₃,a₄},求一下条件下的一阶熵：

（a）P(a₁)=P(a₂)=P(a₃)=P(a₄)=1/4

（b）P(a₁)=1/2 , P(a₂)=1/4 , P(a₃)=P(a₄)=1/8 

（c）P(a₁)=0.505 ,  P(a₂)=1/4 , P(a₃)=1/8 , P(a₄)=0.12 

 

H=-ЕP(a_i)logP(A_i)

=-( P(a₁)log₂P(a₁)+P(a₂)log₂P(a₂)+P(a₃)log₂P(a₃)+P(a₄)log₂P(a₄) )

= -1/4log₂ (1/4)-1/4log₂ (1/4)-1/4log₂ (1/4)-1/4log₂ (1/4)

= 2 (bits)

 

H=-ЕP(a_i)logP(A_i)

= -( P(a₁)log₂P(a₁)+P(a₂)log₂P(a₂)+P(a₃)log₂P(a₃)+P(a₄)log₂P(a₄) )

= -1/2log₂(1/2)-1/4log₂(1/4)-1/8log₂(1/8)-1/8log₂(1/8)

= 1/2+1/2+3/8+3/8

= 7/4

=1.75(bits)

 

H=-ЕP(a_i)logP(A_i)

= -( P(a₁)log₂P(a₁)+P(a₂)log₂P(a₂)+P(a₃)log₂P(a₃)+P(a₄)log₂P(a₄) )

= -0.505log₂0.505-1/4log₂(1/4)-1/8log₂(1/8)-0.12log₂0.12

= -0.505log₂0.505+1/2+3/8-0.12log₂0.12

=1.74(bits)