06 2022 档案
摘要：信道编码定理 编码构建 解码构建 基于联合典型集解码 误差估计 即存在一种码本使误差趋于0 并且根据证明过程我们可以获得调整码本的方法： 有反馈时信道容量并不能增加 哲学意义？ 证明： 由： 我们有： 信源信道独立定理 对恢复源信息的建模 最后，我们希望在丢失或发生错误的情况下也能恢复源信息，那就要
阅读全文
摘要：Discrete Memoryless Channel (无记忆对称信道) （X，p(y|x)，Y），无记忆性体现在p(y|x)不变。 信道容量 C=max(p(x)) I(X ; Y) BSC(二进制信道) C=1-H（p） BEC(二进制删除信道) C=1-H（p） 关于信道容量的建模 信道模型
阅读全文
摘要：随机变量生成 一种从具体到抽象的建模 这种建模可以用多叉树表示，每一个树叶表示一个事件。 关于这种树的深度有如下性质和定理： 关于树的深度 这和熵的对数特征是吻合的。 我们当然希望树的深度尽量小。 树深度估计 特殊情况（dyadic）下取等 非特殊情况 （根据Kraft不等式知其存在） Shanno
阅读全文
摘要：学到这一讲不禁再一次被信息论的魅力所征服～ 同时也感到优秀的大学的课程资源确实更好，羡慕。。。 Huffman编码 这里并不局限于两两合并，三三合并等也是可以的。 Huffman编码的平均码长是最优的。 Huffman编码的结果不唯一。 如果出现编码元素不够的情况可以增加空内容来解决： 由于每次合并
阅读全文
摘要：从编码开始： 用D个字母来编码，要求一定是单射。 前缀码：没有一个元素的编码是另一个元素的前缀。它是即时码。对应有后缀码。 产生前缀码的方法 1.树； 性质：一个节点选择后其不能再扩展； 每个节点有D个子节点。 2.线段区间； 性质： 接着到了最有意思的 Kraft不等式 证明： 扩展到无限维： 无
阅读全文
