随笔分类 - 信息论与编码
摘要：信息论与编码 绪论 "之前做过总结" 通信系统模型 信源与信源熵 信源的数学模型和分类 简单离散信源（无记忆）（定义） 简单连续信源（定义） 多维离散信源 多维连续信源 根据信源消息符号之间的关联程度分类 离散无记忆信源 离散有记忆信源 离散信源的熵与互信息 自信息量定义及计算 互信息量定义及计算
阅读全文
摘要：信息消息信号的区别 信息：指事物运动的状态或存在方式的不确定性的描述 消息：包含信息的语言文字图像等 信号：信息的物理体现 在通信系统中，实际传输的是信号，但实质内容是信息，信息包含在信号中，信号是信息的载体，通信的结果是消除或部分消除不确定性，从而获得信息。 信源、信宿、信道和密钥源 信源：信息输
阅读全文
摘要：在很多信源的输出序列中，符号之间的依赖关系是有限的，任何时刻信源符号发生的概率只与前面已经发出的若干个符号有关，而与更前面的符号无关 马尔可夫信源满足的两个条件 1. 某一时刻信源输出的符号的概率只与当前所处的状态有关，而与以前的状态无关 $$ P(x_l=a_k|s_l=E_i,x_{l 1}=a
阅读全文
