信息论——绪论
研究对象——信息传输系统
通讯系统模型:
信源:产生消息和消息序列的来源 (由于消息序列是随机发生的,故用随机变量来描述)。
编码器:把消息变成适合于信道传输的信号。
信源编码器:提高信息传输的有效性。
信道编码器:用增加多余度的方法提高信道抗干扰能力,提高信息传输的可靠性。
调制器:讲编码器输出的数字序列变成振幅、频率或相位受到调制控制的形式,以适合在信道中进行较长距离的传输。
解调器:从载波中提取信号,是调制的逆过程。
信道:信号由发送端传输到接收端的媒介(传输:电缆、光纤等,存储:磁芯、磁盘等)。
干扰源:对传输信道或存储媒介构成干扰的来源总称(具有随机性,可用概率空间描述)。
信宿:消息传达的对象(人或机器)。
在通讯系统中形式上传输的是消息,但实质上传输的是信息,消息是信息的载体
通讯的结果是消除或部分消除不确定性从而获得信息
研究目的
找到信息传输过程的共同规律,提高信息传输的可靠性、有效性、保密性、认证性,以达到信息传输系统的最优化。
可靠性:使信源发出的消息经过信道传输以后,尽可能准确地、不失真地再现于接收端。
有效性:经济性好,即用尽可能短的时间和尽可能少的设备来传送—定数量的信息。
保密性:隐蔽和保护通信系统中传送的消息,使它只能被授权接收者获取,而不能被未授权者接收和理解。
认证性:接收者能正确判断所接收的消息的正确性,验证消息的完整性,而不是伪造的和被窜改的.
有效性、可靠性、保密性和认证性四者构成现代通信系统对信息传输的全面要求。
研究内容
一般有以下三种理解:
狭义信息论(经典信息论):主要研究信息的测度、信道容量以及信源和信道编码理论等问题。这部分内容是信息论的基础理论,又称为香农信息论
一般信息论(通信理论):主要是研究信息传输和处理问题,除了香农理论外,还包括噪声理论、信号滤波和预测、统计检测和估计理论、调制理论以及信息处理理论等
广义信息论:广义信息论不仅包括上述两方面的内容,而且包括所有与信息有关的领域,如模式识别、计算机翻译、心理学、遗传学、语言学等等
本课程讨论香农信息论