信息论——随机变量生成、算术编码、LZ77、LZ78笔记
随机变量生成
一种从具体到抽象的建模
这种建模可以用多叉树表示，每一个树叶表示一个事件。
关于这种树的深度有如下性质和定理：
关于树的深度
这和熵的对数特征是吻合的。
我们当然希望树的深度尽量小。
树深度估计
特殊情况（dyadic）下取等
非特殊情况
（根据Kraft不等式知其存在）
Shannon-Fano-Elias编码衍生出算术编码
算术编码
如果我们不知道概率分布，我们之前很多编码理论都将失效。那怎么办呢？
前者对于数据量较大的情况可能还是比较乏力，这时后者似乎更优。
不知道概率分布时冗余估计
神奇的是冗余最优化可以转化为信道容量问题：
Lempel-Ziv编码
这个产生的过程跟微积分好像，似乎上帝总担心一个问题解决后人们就将其抛到脑后，进而人间又少了一种精妙的想法，这只得我们深思。
主要思想是移动窗口产生字典，然后重复部分用编码替代，进而压缩。
只理解了第二种qwq。。。
然后它是最优哒！
