第二次作业
参考书《数据压缩导论（第4版）》Page 66
2 利用程序huff_enc和huff_dec进行以下操作（在每种情况下，利用0由被压缩图像生成的码本）。
（a）对Sena、Sensin和Omaha图像时行编码。
（b）编写一段程序，得到相邻之差，然后利用huffman对差值图像进行编码。
（c） 使用adap_huff重复（a）和（b）。
给出以上每一个试验得出的文件大小，并解释其差别。
我的答案如下：
| 文件名（IMG） | 压缩前文件大小（字节） | 压缩后文件大小（字节） | 压缩比 |
| SENA | 64.0 | 56.1 | 1.14 |
| SINAN | 64.0 | 60.2 | 1.06 |
| OMAHA | 64.0 | 57.0 | 1.12 |
4 一个信源从符号集A={a1, a2, a3, a4, a5}中选择字母，概率为P（a1）=0.15，P（a2）=0.04，P（a3）=0.26，P（a4）=0.05，P（a5）=0.50。
（a）计算这个信源的熵。
（b）求这个信源的霍夫曼码。
（c）求（b）中代码的平均长度及其冗余度。
我的答案如下：
（a） H=Σ P(Ai) logb1/P(Ai)=0.15*log21/0.15+0.04*log21/0.04+0.26*log21/0.26+0.05*log21/0.05+0.50*log21/0.50=1.8
（b）
1）
| 字母 | 概率 | 码字 | |
| a5 | 0.50 | Ca5 | |
| a3 | 0.26 | Ca3 | |
| a1 | 0.15 | Ca1 | |
| a4 | 0.05 | Ca4 | =a1*0 |
| a2 | 0.04 | Ca2 | =a1*1 |
2）
| 字母 | 概率 | 码字 | |
| a5 | 0.50 | Ca5 | |
| a3 | 0.26 | Ca3 | |
| a1 | 0.15 | Ca1 | =a2*0 |
| a6 | 0.09 | a1 | =a2*1 |
3）
| 字母 | 概率 | 码字 | |
| a5 | 0.50 | Ca5 | |
| a3 | 0.26 | Ca3 | =a3*0 |
| a7 | 0.24 | a2 | =a3*1 |
4）
| 字母 | 概率 | 码字 | |
| a8 | 0.50 | a3 | =0 |
| a5 | 0.50 | Ca5 | =1 |
由上 1）2）3）4）可得霍夫曼编码如下表：
| 字母 | 概率 | 码字 |
| a5 | 0.50 | 1 |
| a3 | 0.26 | 00 |
| a1 | 0.15 | 010 |
| a4 | 0.05 | 0110 |
| a2 | 0.04 | 0111 |
(C)
平均长度 l=0.50*1+0.26*2+0.15*3+0.05*4+0.04*4=1.83比特/符号
冗余度=H-l=1.8-1.83=-0.03
因为冗余度为负值，所以这。。。。。
5 一个符号集A={a1, a2, a3, a4,}，其概率为P（a1）=0.1，P（a2）=0.3，P（a3）=0.25，P（a4）=0.35，使用以下过程找出一种霍夫曼码：
（a）本章概述的第一种过程：
（b）最小方差过程。
解释这两种霍夫曼码的区别。
我的答案如下：
（a）操作如下：
1）
| 字母 | 概率 | 码字 | |
| a4 | 0.35 | Ca4 | |
| a2 | 0.3 | Ca2 | |
| a3 | 0.25 | Ca3 | =a1*0 |
| a1 | 0.1 | Ca1 | =a1*1 |
2）
| 字母 | 概率 | 码字 | |
| a4 | 0.35 | Ca5 | |
| a5 | 0.35 | a1 | =a2*0 |
| a2 | 0.3 | Ca2 | =a2*1 |
3）
| 字母 | 概率 | 码字 | |
| a6 | 0.65 | a2 | =0 |
| a4 | 0.35 | Ca4 | =1 |
由上 1) 2) 3)可得如下霍夫曼编码：
| 字母 | 概率 | 码字 |
| a4 | 0.35 | 1 |
| a2 | 0.3 | 01 |
| a3 | 0.25 | 000 |
| a1 | 0.1 | 001 |
（b）最小方差霍夫曼编码过程如下：
1）
| 字母 | 概率 | 码字 | |
| a4 | 0.35 | Ca4 | |
| a2 | 0.3 | Ca2 | |
| a3 | 0.25 | Ca3 | =a1*0 |
| a1 | 0.1 | Ca1 | =a1*1 |
2）
| 字母 | 概率 | 码字 | |
| a5 | 0.35 | a1 | |
| a4 | 0.35 | Ca4 | =a2*0 |
| a2 | 0.3 | Ca2 | =a2*1 |
3）
| 字母 | 概率 | 码字 | |
| a6 | 0.65 | a2 | =0 |
| a5 | 0.35 | a1 | =1 |
由上 1) 2) 3)可得如下最小方差霍夫曼编码：
| 字母 | 概率 | 码字 |
| a4 | 0.35 | 00 |
| a2 | 0.3 | 01 |
| a3 | 0.25 | 10 |
| a1 | 0.1 | 11 |
以上两种过程比较，后一种在重排序时将得到的新一个元素放在尽可能高的位置，同时使用第二种方法可以减少赤字。
6、 参考书《数据压缩导论（第4版）》 Page 30
6. 在本书配套的数据集中有几个图像和语音文件。
(a)编写一段程序，计算其中一些图像和语音文件的一阶熵。
(b)选择一个图像文件，并计算其二阶熵。试解释一阶熵和二阶熵之间的差别。
(c)对于（b）中所用的图像文件，计算其相邻像素之差的熵。试解释你的发现。
我的 答案如下：
（a） 图像的一阶熵如下：
语音文件的一阶熵如下：
（b）我选择的图像文件为SENSIN.IMG，其一阶熵为7.317944
二阶熵为：4.301673
从上图可知，图像的一阶熵比二阶熵要大很多。文件经过二阶压缩处理可以增大压缩度，减少存储空间。
（c）一阶熵为7.317944 ， 二阶熵为：4.301673 ，差分熵为4.541547
经过比较，差分熵介于一阶熵和二阶熵之间。对一阶熵来说，差分熵还算比较理想的压缩算法。
