第二次作业
2、利用程序huff_enc和huff_dec进行以下操作（在每种情况下，利用由被压缩图像生成的码本）。
（a）对Sena、Sensin和Omaha图像进行编码。
| 图像名称 | 压缩前 | 压缩后 | 压缩率 |
| Sena | 64.0KB | 56.1KB | 88% |
| Sensin | 64.0KB | 60.2KB | 94% |
| Omaha | 64.0KB | 57KB | 89% |
| 图像名称 | 压缩前 | 压缩后 | 压缩比 |
| Sena | 64.0KB | 56.1KB | 87.66% |
| Sensin | 64.0KB | 60.2KB | 94.06% |
| Omaha | 64.0KB | 57KB | 79.06% |
4.一个信源从符号集A={a1,a2,a3,a4,a5}中选择字母，概率为P(a1)=0.15,P(a2)=0.04,P(a3)=0.26,P(a4)=0.05,P(a5)=0.50。
（a）计算这个信源的熵。
（b）求这个信源的霍夫曼编码。
（c）求（b）中代码的平均长度及其冗余度。
解：（a）
H=-0.15log20.15-0.04log20.04-0.26log20.26-0.05log20.05-0.50log20.50
=0.15*2.737+0.04*4.644+0.26*1.943+0.05*4.322+0.50*1
=0.411+0.186+0.505+0.216+0.5
=1.8177(bit)
(b)霍夫曼编码
a1:010 a2:0111 a3:00 a4:0110 a5:1
冗余度为：
l-H=1.83-1.818=0.012 bit
(c) L=0.15*3+0.04*4+0.26*2+0.05*4+0.5*1=1.83(bit)
1-5 一个符号集A={a1, a2, a3, a4,}，其概率为P（a1）=0.1，P（a2）=0.3，P（a3）=0.25，P（a4）=0.35，使用以下过程找出一种霍夫曼码：
（a） 本章概述的第一种过程：
（b） 最小方差过程。
答：
（a） 以空码开始；计算所有符号的频率/概率；对所有符号按其概率排序；将符号集合划为两个概率差异最小集合；在第一个集合的码字前加‘0’，在第二个集合的码字前加‘1’；对划分得到的两个子集递归编 码，直到每个集合不能再被划分。
（b） A={a1, a2, a3, a4,}={001，001，00，1}
H=-（0.1* log2*0.1+0.3* log2*0.3+0.25* log2*0.25+
0.35* log2*0.35）
=0.568bits/symbol
平均码长：
l=0.1*3+0.3*3+0.25*2+0.35*1
=1.85bits/symbol
冗余：
l-H=1.282bits/symbol
最小方差过程：
S2=0.1(3-1.282)2+0.3(3-1.282)2+0.25(2-1.282)2+0.35(1-1.282)2
=1.337
2-6. 在本书配套的数据集中有几个图像和语音文件。
(a)编写一段程序，计算其中一些图像和语音文件的一阶熵。
答：
(b)选择一个图像文件，并计算其二阶熵。试解释一阶熵和二阶熵之间的差别。
答：
(c)对于（b）中所用的图像文件，计算其相邻像素之差的熵。试解释你的发现。
答：
| 文件名 | 一阶熵 | 二阶熵 | 差分熵 |
| SENA.IMG | 6.834299 | ||
| SENSIN.IMG | 7.317944 | ||
| OMAHA.IMG | 6.942426 | ||
| EARTH.IMG | 4.770801 | ||
| GABE.RAW | 7.116338 | ||
| BERK.RAW | 7.151537 |
