第二次作业
2.利用程序huff_enc和huff_dec进行以下操作（在每种情况下，利用由被压缩图像生成的码本）。
（a）对Sena、Sensin和Omaha图像进行编码。
答：
| 文件名 | 压缩前 | 压缩后 | 压缩比 |
| SENA | 64.0 KB (65,536 字节) | 56.1 KB (57,503 字节) | 87% |
| SINAN | 64.0 KB (65,536 字节) | 60.2 KB (61,649 字节) | 94% |
| OMAHA | 64.0 KB (65,536 字节) | 57.0 KB (58,374 字节) | 89% |
4.一个信源从符号集A={a1, a2, a3, a4, a5}中选择字母，概率为P（a1）=0.15，P（a2）=0.04，P（a3）=0.26，P（a4）=0.05，P（a5）=0.50。
（a）计算这个信源的熵。
（b）求这个信源的霍夫曼码。
（c）求（b）中代码的平均长度及其冗余度。
答:
（a）H=-0.15log20.15-0.04log20.04-0.26log20.26-0.05log20.05-0.50log20.50
=0.15*2.737+0.04*4.644+0.26*1.943+0.05*4.322+0.50*1
=1.8177(bit)
(b) 霍夫曼码
a1:010 a2:0111 a3:00 a4:0110 a5:1
(c)
L=0.15*3+0.04*4+0.26*2+0.05*4+0.5*1=1.83(bit)
l-H=1.83-1.818=0.012 bit
5.一个符号集A={a1,a2,a3,a4},其概率为P(a1)=0.1,P(a2)=0.3,P(a3)=0.25,P(a4)=0.35,使用以下过程找出一种霍夫曼码：
(a)本章概述的第一种过程；
(b)最小方差过程。
解释这两种霍夫曼码的区别。
答：
（a）第一种：
| 字母 | 码子 | 概率 |
| a1 | 000 | 0.1 |
| a2 | 001 | 0.3 |
| a3 | 01 | 0.25 |
| a4 | 1 | 0.35 |
第二种：
| 字母 | 码子 |
| a1 | 00 |
| a2 | 01 |
| a3 | 10 |
| a4 | 11 |
(b)
平均码长：
L=0.1*3+0.3*2+0.25*3+0.35*1=2;
L=0.1*2+0.3*2+0.25*2+0.35*2=2
方差：
S2=0.1(3-2)2+0.3(2-2)2+0.25(3-2)2+0.35(1-2)2=0.70
S2=0.1(2-2)2+0.3(2-2)2+0.25(2-2)2+0.35(2-2)2 =0
从以上数据可以看出第二种方法优于第一种
6.在本书配套的数据中有几个图像和语音文件。
(a) 编写一段程序，计算其中一些图像和语音文件的一阶熵。
(b) 选择一个图像文件，计算其二阶熵。试解释一阶熵与二阶熵的差别。
(c) 对于(b)中所有的图像文件，计算其相邻像素之差的熵，试解释你的发现。
答：
(a)
| 文件 | 一阶熵 | 二阶熵 | 差分熵 |
| EARTH | 4.770801 | 2.568358 | 3.962697 |
| BERK | 7.151537 | 6.705169 | 8.976150 |
| GABE | 7.116338 | 6.654578 | 8.978236 |
| OMAHA | 6.942426 | 4.488626 | 6.286834 |
| SENA | 6.834299 | 3.625204 | 3.856899 |
| SENSIN | 7.317944 | 4.301673 | 4.541547 |
（b）一阶熵比二阶熵大
（c）像素之差的熵比一阶熵和二阶熵都要大
