摘要：
信道编码定理 编码构建 解码构建 基于联合典型集解码 误差估计 即存在一种码本使误差趋于0 并且根据证明过程我们可以获得调整码本的方法： 有反馈时信道容量并不能增加 哲学意义？ 证明： 由： 我们有： 信源信道独立定理 对恢复源信息的建模 最后，我们希望在丢失或发生错误的情况下也能恢复源信息，那就要 阅读全文
摘要：
Discrete Memoryless Channel (无记忆对称信道) （X，p(y|x)，Y），无记忆性体现在p(y|x)不变。 信道容量 C=max(p(x)) I(X ; Y) BSC(二进制信道) C=1-H（p） BEC(二进制删除信道) C=1-H（p） 关于信道容量的建模 信道模型 阅读全文
摘要：
随机变量生成 一种从具体到抽象的建模 这种建模可以用多叉树表示，每一个树叶表示一个事件。 关于这种树的深度有如下性质和定理： 关于树的深度 这和熵的对数特征是吻合的。 我们当然希望树的深度尽量小。 树深度估计 特殊情况（dyadic）下取等 非特殊情况 （根据Kraft不等式知其存在） Shanno 阅读全文