第二次作业
1、 参考书《数据压缩导论（第4版）》Page 66
2、利用程序huff_enc进行以下操作（在每种情况下，利用由被压缩图像生成的码本）。
（a） 对Sena、Sensin和Omaha图像时行编码。
| 压缩前 | 压缩后 | 压缩率 | |
| Sena | 64 | 56.1 | 87.66% |
| Sensin | 64 | 60.2 | 94.06% |
| Omaha | 64 | 57 | 79.06% |
4、一个信源从符号集A={a1, a2, a3, a4, a5}中选择字母，概率为P（a1）=0.15，P（a2）=0.04，P（a3）=0.26，P（a4）=0.05，P（a5）=0.50。
（a）计算这个信源的熵。
（b）求这个信源的霍夫曼码。
（c）求（b）中代码的平均长度及其冗余度。
解：
(a)H=-0.15*log20.15-0.04*log20.04-0.26*log20.26-0.05*log20.05-0.50*log20.50
=1.83(Bits)
(b)概率由大到小排列为 0.50，0.26，0.15，0.05，0.04， 即 a5，a3，a1，a4，a2
a1的编码:110
a2的编码:1111
a3的编码:10
a4的编码:1110
a5的编码:0
(c)L=0.15*3+0.04*4+0.26*2+0.05*4+0.5*1=1.83
所以冗余度为：R= L-H=0
5、一个符号集A={a1, a2, a3, a4,}，其概率为P（a1）=0.1，P（a2）=0.3，P（a3）=0.25，P（a4）=0.35，使用以下过程找出一种霍夫曼码：
（a）本章概述的第一种过程：
（b）最小方差过程。
解释这两种霍夫曼码的区别。
解：
（a）第一种编码的过程为：
(l)将信号源的符号按照出现概率递减的顺序排列。
(2)将两个最小出现概率进行合并相加，得到的结果作为新符号的出现概率。
(3)重复进行步骤1和2直到概率相加的结果等于1为止。
(4)在合并运算时，概率大的符号用编码0表示，概率小的符号用编码1表示。
（b）用第一种霍夫曼编码可得出：
a1的编码:111
a2的编码:10
a3的编码:110
a4的编码:0
平均码长L=0.1*3+0.3*2+0.25*3+0.35*1=2.
用第二种霍夫曼编码可得出：
a1:00
a2:01
a3:10
a4:11
平均码长L=0.1*2+0.3*2+0.25*2+0.35*2=2
第一种方法:
S2=0.1(3-2)2+0.3(2-2)2+0.25(3-2)2+0.35(1-3)2
=1.75
第二种方法:
S2=0.1(2-2)2+0.3(2-2)2+0.25(2-2)2+0.35(2-2)2
=0
因此，最小方差树是第二种。
6、在本书配套的数据中有几个图像和语音文件。
(a) 编写一段程序，计算其中一些图像和语音文件的一阶熵。
(b) 选择一个图像文件，计算其二阶熵。试解释一阶熵与二阶熵的差别。
(c) 对于(b)中所有的图像文件，计算其相邻像素之差的熵，试解释你的发现。
| 一阶熵 | 二阶熵 | 差分熵 | |
| BERK | 7.151537 | 6.705169 | 8.976150 |
| EARTH | 4.770801 | 2.568358 | 3.962697 |
| GABE | 7.116338 | 6.654578 | 8.978236 |
| OMAHA | 6.942426 | 4.488626 | 6.286834 |
| SENA | 6.834299 | 3.625204 | 3.856899 |
| SENSIN | 7.317944 | 4.301673 | 4.541547 |
