信息论与编码复习大纲
信息论与编码
绪论
- 之前做过总结
- 通信系统模型
信源与信源熵
-
信源的数学模型和分类
- 简单离散信源（无记忆）（定义）
- 简单连续信源（定义）
- 多维离散信源
- 多维连续信源
- 根据信源消息符号之间的关联程度分类
- 离散无记忆信源
- 离散有记忆信源
-
离散信源的熵与互信息
- 自信息量定义及计算
- 互信息量定义及计算
- 条件信息量计算
- 信息熵（平均自信息量）
- 条件熵计算
- 联合熵计算
- 交互熵计算（平均互信息量、互信息、平均交互信息量）
-
熵的性质
- 非负性
- 对称性
- 确定性
- 扩展性
- 可加性
- 香农辅助定理
- 最大熵定理
- 条件熵小于无条件熵
- 极限熵定义
- 扩展信源熵概念
-
离散信源序列的熵
- 几个结论
- 马尔可夫信源的熵（马尔可夫信源）
-
连续信源的熵与互信息量
- 了解大概关系
-
信源相关性与冗余度
- 冗余度来自两个方面
- 信源符号输出之间的相关性。
- 信源输出符号的概率统计冗余，即概率分布的不均匀性。
- 冗余度来自两个方面
