信息论——随机变量生成、算术编码、LZ77、LZ78笔记

随机变量生成

一种从具体到抽象的建模

这种建模可以用多叉树表示，每一个树叶表示一个事件。

关于这种树的深度有如下性质和定理：

关于树的深度

这和熵的对数特征是吻合的。

 

我们当然希望树的深度尽量小。

树深度估计

 

特殊情况（dyadic）下取等

  

 非特殊情况

（根据Kraft不等式知其存在）

 

 

Shannon-Fano-Elias编码衍生出算术编码

算术编码

 

如果我们不知道概率分布，我们之前很多编码理论都将失效。那怎么办呢？

 

 

 前者对于数据量较大的情况可能还是比较乏力，这时后者似乎更优。

 

不知道概率分布时冗余估计

神奇的是冗余最优化可以转化为信道容量问题：

 

Lempel-Ziv编码

这个产生的过程跟微积分好像，似乎上帝总担心一个问题解决后人们就将其抛到脑后，进而人间又少了一种精妙的想法，这只得我们深思。

 

主要思想是移动窗口产生字典，然后重复部分用编码替代，进而压缩。

只理解了第二种qwq。。。

 

 然后它是最优哒！