1、第一章 绪 论v信息论信息论(Information Theory)是通信中的数学理论,是研究是通信中的数学理论,是研究信息的传输、存储和处理的科学信息的传输、存储和处理的科学回答两个回答两个基本问题基本问题数据压缩信息传输速率+无失真压缩无失真压缩受到受到熵熵的约的约束束限失真压缩限失真压缩受到受到信息率信息率失真函数失真函数的的约束约束信道容量信道容量主要讨论存在性存在性问题有人认为有人认为是通信理论的子集是通信理论的子集实际上实际上对统计物理、计算机科学对统计物理、计算机科学(如算法复杂如算法复杂度度)、概率与统计等学科都有贡献、概率与统计等学科都有贡献对学科发展的贡献对学科发展的贡献信
2、息论的起源1948年年香农香农-论文论文“通信中的数学问题”(A Mathematical Theory of Communication)特点特点:概率统计方法对通信系统进行了研究,成果成果:揭示了通信系统传递的对象是信息,对信息进行了科学的定量描述,提出了熵的概念。更早的研究内容更早的研究内容1924年NyquistHartley对对信息信息进行进行了定义了定义解释了信号带宽信号带宽与信息传输速率信息传输速率之间的关系1928年Hartley通信系统传输能力问题1936年Amstrong提出了增加带宽可以提高系统抗干扰能力研究进程vCover对多用户信息理论的研究做出了很大贡献。1.1信息
3、论的形成与发展信息论的形成与发展上个世纪五上个世纪五十年代十年代在在学术界学术界引起极大反响引起极大反响六十年代六十年代扩展了研究领域点对点点对点多用户多用户信息论信息论信 道 编 码 研 究v采用长码、交织技术、迭代解码技术进行编解码,v从而提高了编码效率和纠错能力。1.1信息论的形成与发展信息论的形成与发展60年代信道编码(分组码)成为成为重要信息论重要信息论分支分支70年代卷积码卷积码概率译码概率译码90年代之后TurboTurbo码码LDPCLDPC1.1信息论的形成与发展信息论的形成与发展信 源 编 码 研 究1948年香农:无失真编码定理(第一定理)设计香农码设计香农码1952年费
4、罗费罗费罗码费罗码1959年香农:限失真编码定理(第三)即信息率失真理论即信息率失真理论HuffmanHuffman哈夫曼码哈夫曼码v但是一般认为远远没有达到理论极限。但是一般认为远远没有达到理论极限。1.1信息论的形成与发展信息论的形成与发展信源统计特性编码技术(尤其图像编码)快速发展快速发展图像编码图像编码小波小波比特平面编码比特平面编码算术编码算术编码信息率失真信息率失真变换变换数据分类或者数据分类或者形成集合等形成集合等熵编码熵编码码流优化码流优化作用信息论主要立足点基础:基础:研究有效性有效性信息可以度量信息可以度量可靠性可靠性信源信源编码编码信道信道编码编码提高传输数据中每个码元携
5、带的信息量,从而提高数据传输效率。使系统能够检测、纠正传输过程中的数据错误。通过通过目的目的信息论研究范围1.1信息论的形成与发展信息论的形成与发展狭义信息论信息度量信息度量信息特征信息特征信息容量信息容量干扰对信息传干扰对信息传递影响递影响广义信息论除了狭义信息论内容除了狭义信息论内容之外,还有之外,还有信号设计(如信号设计(如信号分集)信号分集)噪声噪声理论理论噪声统计噪声统计特性特性信号检测信号检测与估值与估值信息、消息、信号三者既有联系又有区别三者既有联系又有区别;1.1信息论的形成与发展信息论的形成与发展信息:信息:表示事物的运动状态和表示事物的运动状态和状态变化的方式,是抽象状态变
6、化的方式,是抽象的意识或者知识,是看不的意识或者知识,是看不见、摸不着的。见、摸不着的。比如人的想法,比如人的想法,对事物的认识等等。对事物的认识等等。消息消息是信息的载体,可以是信息的载体,可以由消息得到信息由消息得到信息指包含信息的指包含信息的语言、文字和语言、文字和图像等图像等信信息息消消息息表述表述提取提取具体的具体的抽象的抽象的信信号号不是物理性的,不能够直接在信信道中传输。道中传输。描述方法:描述方法:随机变量随机变量或者或者随随机序列机序列变化来表示消息变化来表示消息v信号信号是消息的具体物理体现是消息的具体物理体现(如声波信号,如声波信号,电信号电信号)信号是消息的载体,将消息
7、转换为信信号是消息的载体,将消息转换为信号才能够在信道中传输。号才能够在信道中传输。信号信号变化可以表示一定的消息。变化可以表示一定的消息。信息信息消息消息信号信号待传输;待传输;特点:抽象;特点:抽象;信息的表现形信息的表现形式;式;文字,图像,文字,图像,声音等;声音等;信号的变化描信号的变化描述消息;述消息;信息的基本特点1.不确定性受信者在接收到信息之前,不知道信源发送受信者在接收到信息之前,不知道信源发送的内容是什么,是未知的、不确定性事件;的内容是什么,是未知的、不确定性事件;3.3.可以产生、消失、存储,还可以进行加工、处理;4.可以度量2.2.受信者接收到信息后,可以减少或者消
8、除不确定性;1.2 通信系统的模型通信系统的模型 一般模型一般模型通信基本问题精确或者近似再现信源发出的消息。精确或者近似再现信源发出的消息。在存储或者通信等情况下,在存储或者通信等情况下,详细模型信息数据接收信息接收数据原始符号重建符号XXYZZY信道一定,数据传输错误概率一定信道一定,数据传输错误概率一定数据数据Z=Z并不是总是成立并不是总是成立差错控制编码、译码足够好差错控制编码、译码足够好信息信息Y=Y一般总是成立一般总是成立无失真编码无失真编码符号符号Z=Z限失真失真限失真失真编码编码ZZ有有效效性性可可靠靠性性信信 源源v产生消息的产生消息的来源来源,可以是文字、语言、图像等;,可
9、以是文字、语言、图像等;v输出形式输出形式:符号形式表示具体消息,是信息的载体:符号形式表示具体消息,是信息的载体;v分类:分类:连续的,离散的;连续的,离散的;v基本特点基本特点:具有随机性。:具有随机性。v主要研究其主要研究其统计规律统计规律和和信源产生的信源产生的信息速率信息速率。1.2 通信系统的模型通信系统的模型v作用:作用:将信源发出的符号将信源发出的符号转化为转化为适合信道传输的适合信道传输的信号信号;v一般包括信源编码、差错控制编码一般包括信源编码、差错控制编码(或者称为信道编或者称为信道编码码)和调制器等和调制器等。编码器编码器 信源编码v通过去除信源输出符号的通过去除信源输
10、出符号的冗冗余余,使信源编码输出的每个,使信源编码输出的每个符号携带更多的信息量,从符号携带更多的信息量,从而降低信息传递所需要的符而降低信息传递所需要的符号数量,即降低总体数据传号数量,即降低总体数据传输速率,输速率,提高传输效率提高传输效率。1.2 通信系统的模型通信系统的模型信源符号信源符号码序列码序列信源编码器信源编码器相关性减弱相关性减弱相关性强相关性强解决有效性解决有效性建立准则建立准则提高信息传输的效率提高信息传输的效率;变换变换冗余冗余相关冗余相关冗余统计冗余统计冗余生理冗余生理冗余冗冗余余变变化化统计冗余强统计冗余强统计冗余弱统计冗余弱相关冗余相关冗余信源输出前后符号之间存在
11、一定相关性信源输出前后符号之间存在一定相关性统计冗余统计冗余信源输出符号不服从等概率分布信源输出符号不服从等概率分布生理冗余生理冗余人的视觉对人的视觉对幅值失真不特别幅值失真不特别敏感敏感,但是对,但是对相位引起失真相位引起失真很敏感很敏感人的耳朵对人的耳朵对相位相位引起失真不敏感引起失真不敏感听音乐时,调节不同频率增益听音乐时,调节不同频率增益调节亮度对比调节亮度对比度(电视、图度(电视、图片)片)调音调音台台模型简化模型简化编码信道编码信道不会引入任不会引入任何错误或者何错误或者失真失真无失真编码与限失真编码v信息传输率必要小于信道容量,否则无论采取任何信息传输率必要小于信道容量,否则无论
12、采取任何信道编码技术,都会出现信息传递错误;信道编码技术,都会出现信息传递错误;v在有些情况下,可以通过无失真编码即可满足上述在有些情况下,可以通过无失真编码即可满足上述要求;但是在更多情况下,必须采用限失真编码,要求;但是在更多情况下,必须采用限失真编码,才能使得信息传输率不大于信道容量。才能使得信息传输率不大于信道容量。1.2 通信系统的模型通信系统的模型v无失真编码无失真编码:信信 源源编码器编码器编编 码码信信 道道信信 源源译码器译码器信源符号信源符号(序列)(序列)x重建符号重建符号(序列)(序列)x1.2 通信系统的模型通信系统的模型重建符号重建符号与信源与信源发送符号一致发送符
13、号一致,即编码器输出码字序列与信源即编码器输出码字序列与信源发送序列一一映射;发送序列一一映射;重建符号与信源发送符号重建符号与信源发送符号不不完全一致完全一致;编码器输出码字;编码器输出码字序列与信源输出符号序列之序列与信源输出符号序列之间不是一一映射关系,出现间不是一一映射关系,出现符号合并,使得重建符号的符号合并,使得重建符号的熵减少了。熵减少了。xx限失真编码限失真编码:xxy yyy总是成立的总是成立的分别是编码输出码字和接收到的码字限失真、无失真是由于编译限失真、无失真是由于编译码器形成的码器形成的v由于信道中存在干扰,由于信道中存在干扰,数据传递过程中会出现数据传递过程中会出现错
14、误,信道编码可以错误,信道编码可以检检测或者纠正测或者纠正数据传输的数据传输的错误,从而提高数据传错误,从而提高数据传输的可靠性。输的可靠性。信道编码信道编码增加冗余增加冗余对信道干对信道干扰的抵抗扰的抵抗力力信息传输信息传输的可靠性的可靠性提高提高调制器 作用:作用:将信道编码的输出变换为适合信道传输的将信道编码的输出变换为适合信道传输的要求的信号要求的信号;l信道编码和调制器的组合称为信道编码器,信道编码和调制器的组合称为信道编码器,主要是针对信道设计,其主要是针对信道设计,其目的目的是为了利用是为了利用信道的特性可靠地传输信息,提高信息传信道的特性可靠地传输信息,提高信息传输的可靠性。输
15、的可靠性。1.2 通信系统的模型通信系统的模型信源编码与信道编码是相互矛盾的,需要统一考虑信源编码与信道编码是相互矛盾的,需要统一考虑以提高系统的总体性能。以提高系统的总体性能。信源编码是通过信源编码是通过去除冗余去除冗余,提高系统传输的,提高系统传输的有效性有效性;而信道编码则是通过而信道编码则是通过增加冗余增加冗余提高系统传输的提高系统传输的可靠可靠性性,但是会降低系统总体有效性。,但是会降低系统总体有效性。信源信道联合编码技术:将信源编码和信道编码综信源信道联合编码技术:将信源编码和信道编码综合考虑,从而解决信源编码和信道编码之间的统筹合考虑,从而解决信源编码和信道编码之间的统筹优化问题
16、。优化问题。1.2 通信系统的模型通信系统的模型信道与干扰信道与干扰 信道是信息传输的媒质,将携带信息的信号信道是信息传输的媒质,将携带信息的信号从一个地方传送到另外地方。从一个地方传送到另外地方。l常见的信道有明线、电缆、光纤、无线电波传输常见的信道有明线、电缆、光纤、无线电波传输的空间等,这些都是电信号传输的信道。的空间等,这些都是电信号传输的信道。l在水中通信中可以采用声波传输,声波传输的媒在水中通信中可以采用声波传输,声波传输的媒质是水,所以水也是信道。质是水,所以水也是信道。l随着科学技术的发展,大量的信息需要存储,存随着科学技术的发展,大量的信息需要存储,存储器也是信道,而存储信息
17、的媒质同样会收到破储器也是信道,而存储信息的媒质同样会收到破坏,所以也存在干扰。坏,所以也存在干扰。1.2 通信系统的模型通信系统的模型信号在传输过程中会受到各种各样的干扰;u信号的类型不同,经过的信道不同,所遭受信号的类型不同,经过的信道不同,所遭受的噪声、干扰也有差异。的噪声、干扰也有差异。u根据实际情况对噪声和干扰进行统计建模和根据实际情况对噪声和干扰进行统计建模和分析,采用相应的处理方法。分析,采用相应的处理方法。如常见的无线信号为高斯白噪声信道;移动通信为衰落信道;磁盘、光盘为突发差错信道。1.2 通信系统的模型通信系统的模型译码器译码器 译码器是编码器的逆过程,其目的是为了准确或者
18、近似再现信源发出的消息。与编码器相对应,译码器一般由解调器、信道译码器和信源译码器组成。解调器解调器信道译信道译码码 器器信信 源源译码器译码器1.2 通信系统的模型通信系统的模型信宿v是消息传递的对象,即接收消息的人或机器,与信源处于不同地点或存在于不同时刻。v它要对传送过来的消息提出可接受条件,即提出一定的准则,发端将以此来确定对信源处理时所要保留的最小信息量。v信宿的数量可以是一个,也可以是多个,取决于具体应用需要。u单输入、单输出的单向通信系统;单输入、单输出的单向通信系统;u单输入、多输出的单向通信系统;单输入、多输出的单向通信系统;u多输入、多输出的多向通信系统。多输入、多输出的多
19、向通信系统。1.2 通信系统的模型通信系统的模型1.3信息论研究的内容信息论研究的内容通信统计理论的研究通信统计理论的研究u 主要研究如何分析信息和信息传输的统计规律。u具体内容包括信息的度量、信息速率与熵、衡量信道传输能力的信道容量等。信源统计规律的研究信源统计规律的研究u不同的信源具有不同的统计特性,如文字、字母的统计规律,语言 信号、静止图像和活动图像的统计特性。u而不同的分解工具产生的数据也具有不同的统计特性。编码理论与技术的研究编码理论与技术的研究u如信源编码理论与技术的研究,以提高信息传输效率;u信道编码理论与技术的研究,以提高信息传输的可靠性。受信者接收器官研究受信者接收器官研究 如人的听觉和视觉特点的研究,为信源编码提供编码的基本原则。