摘要：
前置知识 上述公式是自信息量公式，该单位取决于对数的底，若以2为底，则单位为比特（bit），以e为底，单位为奈特，以10为底，单位为哈特。通常我们取比特为单位。 熵 熵是从整个集合的统计特性来考虑的，他从平均意义上来表征信源的总体特征。 公式如下： 信息熵具有以下两个物理含义： 1.表示信源输出前， 阅读全文
摘要：
信息的度量 信息具可度量性，其大小取决于信息所消除的不确定性 举例如下： 消息A：中国女子乒乓球队夺取亚运会冠军。 消息B：中国男子足球队夺取世界杯赛冠军。 从事件的描述上来看，其主题内容大致相同，那么我们是否可以认为事件A和事件B具有相同的信息量呢？显然是不行的。根据以往经验，我们可以认为事件A是 阅读全文
摘要：
研究对象——信息传输系统 通讯系统模型： 信源：产生消息和消息序列的来源 （由于消息序列是随机发生的，故用随机变量来描述）。 编码器：把消息变成适合于信道传输的信号。 信源编码器：提高信息传输的有效性。 信道编码器：用增加多余度的方法提高信道抗干扰能力，提高信息传输的可靠性。 调制器：讲编码器输出的 阅读全文