冯娟的第二次作业
参考书题目：
2、利用程序huff_enc和huff_dec进行以下操作（在每种情况下，利用由被压缩图像生成的码本）。
（a）对Sena、Sensin和Omaha图像进行编码。
（b）编写一段程序，得到相邻之差，然后利用huffman对差值图像进行编码。
给出以上每一次实验得出的文件大小，并解释其差别。
解：（a）
| 文件名 | 压缩前 | 压缩后 | 压缩比 |
| Sena | 64K | 57K | 1.14 |
| Sensin | 64K | 61K | 1.06 |
| omaha | 64K | 58K | 1.12 |
4、一个信源从符号集A={a1,a2,a3,a4,a5}中选择字母，概率为P(a1)=0.15,P(a2)=0.04,P(a3)=0.26,P(a4)=0.05,P(a5)=0.50。
（a）计算这个信源的熵。
（b）求这个信源的霍夫曼编码。
（c）求（b）中代码的平均长度及其冗余度。
解：
（a）H(A) = -0.15*log20.15-0.04*log20.04-0.26*log20.26-0.05*log20.05-0.50*log20.50
=0.15* 2.737+0.04*4.644+0.26*1.943+0.05*4.322+0.5*1
=0.411+0.186+0.505+0.216+0.5
=1.818（bits/symbol）
（b）a1:001
a2:0000
a3:01
a4:0001
a5:1
（c）平均长度：L=0.15*3+0.04*4+0.26*2+0.05*4+0.5*1
=0.45+0.16+0.52+0.2+0.5
=1.83（bits/symbol）
冗余度：L-H(A)=1.83-1.818=0.012（bits/symbol）
5.一个符号集A={a1,a2,a3,a4},其概率为P(a1)=0.1,P(a2)=0.3,P(a3)=0.25,P(a4)=0.35,使用以下过程找出一种霍夫曼码：
(a)本章概述的第一种过程；
(b)最小方差过程。
解释这两种霍夫曼码的区别。
解：
（a）第一种霍夫曼码
|
符号 |
概率 |
码 |
|
a1 |
0.1 |
000 |
|
a2 |
0.3 |
01 |
|
a3 |
0.25 |
001 |
|
a4 |
0.35 |
1 |
第二种霍夫曼码
|
符号 |
码 |
|
a1 |
11 |
|
a2 |
01 |
|
a3 |
10 |
|
a4 |
00 |
（b）平均码长：
第一种霍夫曼码: L=3*0.1+2*0.3+3*0.25+1*0.35=2
第二种霍夫曼码 ：L=2*0.1+2*0.3+2*0.25+2*0.35=2
方差：
第一种：S2=0.1(3-2)2+0.3(2-2)2+0.25(3-2)2+0.35(1-2)2=0.70
第二种：S2=0.1(2-2)2+0.3(2-2)2+0.25(2-2)2+0.35(2-2)2 =0
第二种霍夫曼码较优
6、 参考书《数据压缩导论（第4版）》 Page 30
6. 在本书配套的数据集中有几个图像和语音文件。
(a)编写一段程序，计算其中一些图像和语音文件的一阶熵。
(b)选择一个图像文件，并计算其二阶熵。试解释一阶熵和二阶熵之间的差别。
(c)对于（b）中所用的图像文件，计算其相邻像素之差的熵。试解释你的发现。
答：
（b）图像文件为EARTH.IMG的一阶熵为：4.770801，二阶熵为：2.568358
从上图可知，图像的一阶熵比二阶熵要大很多。文件经过二阶压缩处理可以增大压缩度，减少存储空间。
(c)图像文件为EARTH.IMG的一阶熵为：4.770801，二阶熵为：2.568358 ，差分熵为3.962699
经过比较，差分熵介于一阶熵和二阶熵之间。对一阶熵来说，差分熵还算比较理想的压缩算法。
