信息论——DMC、信道容量、信道模型、无记忆性、反馈、联合典型集笔记

Discrete Memoryless Channel (无记忆对称信道)

（X，p(y|x)，Y），无记忆性体现在p(y|x)不变。

信道容量

C=max(p(x)) I(X ; Y) 

BSC(二进制信道)

 C=1-H（p）

 

BEC(二进制删除信道)

 C=1-H（p）

关于信道容量的建模

信道模型

信息传递过程中，我们能改变的是编码和解码方式，不能改变的是状态转移矩阵（它由物理定律决定）。

 

无记忆性

 

 即Yk跟Y(k-1)无关（每个时刻收到的内容只跟放送端相关）

 

无反馈性

 

即Xk跟Y(k-1)无关(不管你收到什么，我发我的) 

 

无记忆性加无反馈性

 

 

离散无记忆性信源

Discrete Memoryless Channel（DMC）

 

对误差的估计 

 

 

 

联合典型集及其性质

联合典型集阶数估计