[IR] Huffman Coding
为了保证：Block中，所有的叶子在所有的中间结点的前面。Static: Huffman coding
Dynamic: Adaptive Huffman
一些概念
压缩指标
• Compress a 10MB file to 2MB
• Compression ratio = 5 or 5:1
• Space savings = 0.8 or 80%
对称与非对称
• Symmetric compression 对称压缩
– requires same time for encoding and decoding
– used for live mode applications (teleconference)
• Asymmetric compression 非对称压缩，压缩慢，解压快
– performed once when enough time is available
– decompression performed frequently, must be fast
– used for retrieval mode applications (e.g., an interactive CD-ROM)
压缩解压的唯一性 - Uniquely decodable
compression的基本条件。
Static or Dynamic codes
Static:
Huffman coding，需知道字符的编码。-->
Dynamic:
Adaptive Huffman。-->
Shannon’s Result
Huffman coding
前提是需知晓 Freq。
L
= ( 30*2 + 30*2 + 20*2 + 10*3 + 10*3 ) / 100
= 220 / 100
= 2.2
问题一
香农理论极限是：
H
= -0.3 * log 0.3 + -0.3 * log 0.3 + -0.2 * log 0.2 + -0.1 * log 0.1 + -0.1 * log 0.1
= -0.3*(-1.737) + -0.3*(-1.737) + -0.2 * (-2.322) + -0.1 * (-3.322) + -0.1 * (-3.322)
= 0.3 log 10/3 + 0.3 log 10/3 + 0.2 log 5 + 0.1 log 10 + 0.1 log 10
= 0.3*1.737 + 0.3*1.737 + 0.2* 2.322 + 0.1*3.322 + 0.1*3.322
= 2.17 < 2.2 // 说明未达到极限，还有压缩的余地
问题二
Freq不平均的话，压缩率越差。
L = (100000*1 + ...)/100010
≈ 1
H = 0.9999 log 1.0001 + 0.00006 log 16668.333
+ ... + 1/100010 log 100010
≈ 0.00
Adaptive Huffman
Problems of Static coding
• Need statistics & static: e.g., single pass over the data just to collect stat & stat unchanged during encoding
• To decode, the stat table need to be transmitted. Table size can be significant for small msg.
=> Adaptive compression e.g., adaptive huffman
两个阶段：
• FGK Algorithm
• Vitter's Invariant
FGK Algorithm.
Video: https://www.youtube.com/watch?v=N5pw_Z-oP-4
Rule:
In the same block，中间结点的index总是大于叶子结点的index。<-- Vitter's Invariant
权重值大的结点，其index也较大。
Operation:
操作1：Leaf node: move first, then update
操作2：Internal node: update first, then move.
NYT node = null node.
Stream: abcbaaa
a = 0110 0001
b = 0110 0010
c = 0110 0011
Step 1
[0110 0001]
[0110 0001] 0 表示插入的位置是左枝
Step 2
插入b之后的样子如下。
Next，需要执行“操作2”。
原来的NYT变为1（孩子value之和），补充完编号。（update）
考虑move操作，画出block，所有标号为1的nodes。
为了保证：Block中，所有的叶子在所有的中间结点的前面。
但，目前满足这个要求么？显然不是，如下的1,a 比较碍眼。
| 252 | 253 | 254 | 255 | 256 |
| NYT | b | 1 | a | 1 |
那么，如何move？将上图中的254结点连带子树 与 跟它冲突的255交换。
可见，这样就重新满足了the Rule.
[0110 0001] [00110 0001]
Step 3
然后继续 insert c，当然还是在NYT这个位置。
[0110 0001] [00110 0001] 10
插入效果如下：
Next，还是先 update internal node。
为了保证：Block中，所有的叶子在所有的中间结点的前面。
但，目前满足这个要求么？显然不是，如下的1,b,a 比较碍眼。
| 251 | 252 | 253 | 254 | 255 |
| c | 1 | b | a | 1 |
开始move：253,254左移，给252的1腾出地儿。
可见，这样就重新满足了the Rule.
[0110 0001] [00110 0001] [100110 0011]
Step 4
4th是b，已有b，所以挂在已有的node b下面。
[0110 0001] [00110 0001] [100110 0011] 10
这次，先 update leaf node，也包括node b的个数++。
这里满足了the Rule的第一条，即叶子结点index较小。
但，the Rule的第二条未满足，即权重大的index较大。
| 251 | 252 | 253 | 254 |
| c(1) | b(2) | a(1) | (1) |
所以，将b移动到最后位置254，如下。
可见，这样就重新满足了the Rule.
[0110 0001] [00110 0001] [100110 0011] [10]
Step 5
5th是a，已有a，所以挂在已有的node a下面。
[0110 0001] [00110 0001] [100110 0011] [10] 10
这里满足了the Rule的第一条，即叶子结点index较小。
但，the Rule的第二条未满足，即权重大的index较大。
| 252 | 252 | 253 |
| c(1) | a(2) | (1) |
交换252与 253及其子树后，如下：
可见，这样就重新满足了the Rule.
[0110 0001] [00110 0001] [100110 0011] [10] [10]
Step 6
6th是a，已有a，所以挂在已有的node a下面。
[0110 0001] [00110 0001] [100110 0011] [10] [10] 11
此时，253的a的权重变为3，根据the Rule，权重大的index较大。
所以，253:a 应该在254:b的后面。交换后，如下：
[0110 0001] [00110 0001] [100110 0011] [10] [10] [11]
Step 7
7th是a，已有a，所以挂在已有的node a下面。
[0110 0001] [00110 0001] [100110 0011] [10] [10] [11] 0
此时，254的a的权重变为4，根据the Rule，权重大的index较大。
所以，254:a 应该在255的后面。交换后如下：
[0110 0001] [00110 0001] [100110 0011] [10] [10] [11] [0]
