信息论——信源编码、prefix code、Kraft不等式、Shannon码、区块编码、最优码笔记

从编码开始：

用D个字母来编码，要求一定是单射。

前缀码：没有一个元素的编码是另一个元素的前缀。它是即时码。对应有后缀码。

 

产生前缀码的方法

1.树；

 

 性质：一个节点选择后其不能再扩展；

　　　 每个节点有D个子节点。

 

2.线段区间；

 

性质：

 

 

接着到了最有意思的

Kraft不等式

 

 证明：

 

扩展到无限维：

无限维

 

 这个其实说明了线段区间的生成方式强于树生成方式。

 

下面把Kraft当作条件配合Lagrange乘数法可以算出

编码长度期望

 

 

 

 由此也可对误差估计，即把p(x)当作q(x):

误差估计

 

 

最后可以把Kraft推广到任意编码方式：

Kraft推广

 

 证明也太巧妙！