第五次作业

3，证明：I(X;Y)=H(X)-H(X|Y)。

证明：

 

9，没有冗余度的信源还能不能压缩？为什么？

 答：没有冗余度的信源能压缩。因为有冗余度的信源压缩可以进行无损压缩和有损压缩，

      而没有冗余度的信源只能进行有损压缩，不能进行无损压缩。

 

12，等概率分布的信源还能不能压缩？为什么？你能举例说明吗？

 答：等概率分布的信源能够压缩。因为等概率分布的信源之间可能存在相关性，

       是可以进行有损压缩的。

       例如：对方波信号或锯齿波信号的均匀取样值、对正弦信号的均匀取样值等。

 

15，有人认为：“图像的负片（黑白颠倒）比正片更容易压缩”。你同意他的观点吗？为什么？

 答：不同意。因为图像的负片和正片的信息熵是相同的，其冗余度也是相同的，

       所以压缩容易程度也是相同的。

 

16，有人认为：“相关的信源是非等概率分布的”。你同意他的观点吗？为什么？

答：同意。因为我们知道只要信源不是等概率分布，就存在着数据压缩的可能性。

     相关信源存在冗余度，能够进行有损和无损压缩，故相关信源是非等概率分布的。