消息理论引入
历史
自诞生以来，信息论的主要作用就是通过确定各种通信系统性能的基本限制，为工程界和科学界提供通信理论的数学框架。克劳德-埃尔伍德-香农（Claude Elwood Shannon，1916-2001 年）发表了开创性的著作，断言只要传输速率低于某个取决于信道统计特性的固定量，就有可能以固定的正速率通过噪声通信信道以任意小的出错概率发送含信息的信号；他将这个量 "命名为 "信道容量。他进一步宣称，代表数据、语音或图像信号的随机（随机）信源可以在信源固有信息量（他称之为信源熵1 并用信源统计量定义）给定的最小速率下进行无失真压缩。他进而证明，如果信源的熵小于通信信道的容量，那么信源就可以在信道上可靠地传输（错误概率近似消失）。他进一步将这些 "编码定理 "从无损（无失真）推广到有损情况下，即信源可以在可容忍的失真阈值内被压缩和再现（可能在信道传输后）。
通信系统框图
- 信号源：信源通常代表数据或多媒体信号，其模型为随机过程。它在值和时间上可以是离散的（有限或可数），也可以是连续的（不可数）。
- 源编码器（Source Encoder）移动其不必要或冗余的内容（即通过压缩）。
- 信道编码器：其作用是在通过有噪声的通信信道传输信源编码器输出后，使其能够可靠地再现。这是通过在信源编码器输出中增加冗余（通常使用代数结构）来实现的。
- 调制器：它将信道编码器输出转换成适合在物理信道上传输的波形。这通常是通过改变正弦信号的参数，使其与通道编码器输出的数据成比例来实现的。
- 物理信道：它包括传输波形所经过的噪声（或不可靠）介质。它通常通过一系列条件（或过渡）概率分布来建模，即在发送特定输入的情况下接收输出。
- 接收器部分：它由解调器、信道解码器和进行反向操作的源解码器组成。目的地代表汇，源解码器提供的源估计在此重现。
