第一讲通信概论与信息度量课件.ppt

1、任课教师及助教任课教师及助教n 任课教师任课教师金德鹏金德鹏 中央主楼中央主楼901C 62781409 n 助教助教孙光：孙光：,中央主楼中央主楼901C作业及答疑作业及答疑n 作业作业随堂布置，第二周上课交随堂布置，第二周上课交课堂收取、发放作业课堂收取、发放作业n 答疑答疑每周五下午每周五下午3：304：30，中央主楼，中央主楼901C平时可随时联系老师答疑平时可随时联系老师答疑不限于课程，推研、出国、考研、就业不限于课程，推研、出国、考研、就业欢迎大家到办公室聊天欢迎大家到办公室聊天期中期末集中答疑期中期末集中答疑课程安排（课程安排（1）n 通信概论与信息度量通信概论与信息度量n 模拟

2、调制模拟调制n 模拟信号数字化及压缩编码模拟信号数字化及压缩编码n 时分多路复用时分多路复用n 数字信号基带传输数字信号基带传输n 数字信号载波传输数字信号载波传输n 差错控制编码差错控制编码n 卷积码卷积码n 多址技术多址技术课程安排（课程安排（2）n 教材教材 现代通信原理现代通信原理，清华大学出版社，曹志刚、钱亚生，清华大学出版社，曹志刚、钱亚生n 讲义讲义 每周周一左右上传到网络学堂每周周一左右上传到网络学堂n 参考书参考书 英文参考书：英文参考书：E1.Introduction to digital communication Rodger E.Ziemer E2.Principle

3、 of communication engineering Wozencraft&Jacobs E3.Communication systems engineering Proakis&Salehi 中文参考书：中文参考书：C1.数字通信基础与应用（第二版）数字通信基础与应用（第二版），Bernard Sklar C2.数字微波中继通信工程数字微波中继通信工程，姚彦、梅顺良、高葆新，人民邮电出版，姚彦、梅顺良、高葆新，人民邮电出版社社 C3.通信原理通信原理（1980,1984），樊昌信，国防工业出版社），樊昌信，国防工业出版社 C4.现代通信理论基础（上册）现代通信理论基础（上册），樊平毅，

4、冯重熙，清华大学出版社，樊平毅，冯重熙，清华大学出版社n 课程成绩课程成绩 平时成绩（作业，随堂测验）平时成绩（作业，随堂测验）期中考试期中考试 期末考试期末考试第一讲第一讲 通信概论与信息度量通信概论与信息度量n 主要内容主要内容通信的定义通信的定义通信的发展简史通信的发展简史 通信系统及其分类通信系统及其分类信息的度量信息的度量香农定理香农定理通信的核心问题是什么？通信系统的的基本框架是怎样的？从信息论的角度如何看通信？通信的理论极限是什么？通信的定义通信的定义n 通信（通信（communication）信息的传输和交换，信息的传递信息的传输和交换，信息的传递n 消息（消息（message

5、)通信系统要传送的内容，包括语音、图像、数据、文字等，通信系统要传送的内容，包括语音、图像、数据、文字等，消息由信源产生消息由信源产生n 信号（信号（signal）消息的载体，包括电信号、光信号等消息的载体，包括电信号、光信号等n 信息（信息（information）消息中包含的新的、有意义且可被理解的、不可压缩的东西消息中包含的新的、有意义且可被理解的、不可压缩的东西消息是信息与某种冗余成分之和，是信息的载体消息是信息与某种冗余成分之和，是信息的载体本课程着重讨论信息的传输问题，重点在点对点数字通信系统基本原理和基本技术！通信的基本问题通信的基本问题n 一个例子一个例子 烽火台烽火台n 通信

6、的基本问题通信的基本问题 有效的通信在资源受限条件下把信息准确无误地传送到目的地有效的通信在资源受限条件下把信息准确无误地传送到目的地传输的速率更高传输的速率更高占用的带宽更窄占用的带宽更窄传输的延时更小传输的延时更小使用更小的功率使用更小的功率设备的成本更低设备的成本更低 可靠的通信可靠的通信复杂恶劣的环境：噪声、干扰、衰落复杂恶劣的环境：噪声、干扰、衰落对抗条件下的通信：人为的干扰对抗条件下的通信：人为的干扰尽量减少信息传递所消耗的资源！在给定资源条件下传送尽可能多的信息！降低信息传输的差错率！通信的发展简史（通信的发展简史（1）n 通信起源通信起源人类社会活动中需要互通消息人类社会活动中

7、需要互通消息n 早期的通信早期的通信以物示意：烽火台以物示意：烽火台邮政通信：驿站、驿邮邮政通信：驿站、驿邮n 电信电信1837年，摩尔斯发明有线电报年，摩尔斯发明有线电报1864年，麦克思韦预言电磁波的存在年，麦克思韦预言电磁波的存在1876年，贝尔发明有线电话年，贝尔发明有线电话1887年，赫兹用实验证明电磁波的存在年，赫兹用实验证明电磁波的存在1893年，史端乔发明步进式电话交换机年，史端乔发明步进式电话交换机1897年，马可尼发明无线电报年，马可尼发明无线电报1918年，调幅无线电广播商用年，调幅无线电广播商用通信的发展简史（通信的发展简史（2）1928年，奈奎斯特提出抽样定理年，奈奎

8、斯特提出抽样定理1936年，发明调频技术年，发明调频技术1937年，提出年，提出PCM技术技术1938年，黑白电视广播系统商用年，黑白电视广播系统商用19441947年，统计通信理论形成年，统计通信理论形成19481950年，香农信息论形成，纠错年，香农信息论形成，纠错码出现码出现19481951年，晶体管发明年，晶体管发明1950年，贝尔实验室研制出年，贝尔实验室研制出PCM数字通数字通信设备，信设备，TDM技术应用于电话技术应用于电话1953年，彩色电视出现年，彩色电视出现1956年，第一条跨越大洋电缆建成，可年，第一条跨越大洋电缆建成，可提供提供36个话路个话路1960年，发明激光器年，

9、发明激光器1961年，集成电路开始商业生产年，集成电路开始商业生产通信的发展简史（通信的发展简史（3）1962年，第一颗人造卫星上天年，第一颗人造卫星上天 19621966年，数据传输业务商用年，数据传输业务商用 1964年，第一台程控交换机投入应用年，第一台程控交换机投入应用 19661975年，有线电视、商用卫星中继、光纤链路投入应用年，有线电视、商用卫星中继、光纤链路投入应用 1972年，年，Motorola开发蜂窝电话系统，第一次跨越大西洋的卫星开发蜂窝电话系统，第一次跨越大西洋的卫星电视直播成功电视直播成功 1977年，光纤通信系统投入商用年，光纤通信系统投入商用 1978年，模拟蜂

10、窝移动通信系统投入商用年，模拟蜂窝移动通信系统投入商用 1989年，跨大西洋及太平洋的光缆用于通信年，跨大西洋及太平洋的光缆用于通信 1991年，年，GSM移动通信系统投入商用移动通信系统投入商用 1995年，窄带年，窄带CDMA移动通信系统在香港投入商用移动通信系统在香港投入商用 1995年，年，Foschini提出了多天线无线传输系统提出了多天线无线传输系统 1997年，年，IEEE提出提出802.11无线局域网标准无线局域网标准 1998年，年，Alamouti提出空时编码提出空时编码 1998年，数字电视业务在美国开通年，数字电视业务在美国开通 2001年，年，NTT试运行试运行WCM

11、DA服务，服务，IEEE提出提出802.16标准标准 2003年，年，Li、Yeung、Cai提出了线性网络编码提出了线性网络编码通信的发展简史（通信的发展简史（4）n 通信的发展趋势通信的发展趋势数字化：最后一公里的接入网络、电视网络等数字化：最后一公里的接入网络、电视网络等综合化：电信网、计算机网、电视网三网合一综合化：电信网、计算机网、电视网三网合一智能化：软交换、智能化：软交换、ASON、下一代网络、下一代网络移动化：移动电话、移动卫星、移动化：移动电话、移动卫星、WLAN、WiMAX宽带化：宽带化：PON、宽带无线接入、宽带无线接入、4G、100G系统系统个人化：个人化：5W（who

12、ever、whenever、wherever、whatever、whoever）n 通信系统通信系统完成通信这一过程的全部设备和传输媒介完成通信这一过程的全部设备和传输媒介n 通信系统基本框图通信系统基本框图通信系统（通信系统（1）通信系统（通信系统（2）n 模拟通信系统模拟通信系统在信道中传输的是模拟信号的通信系统在信道中传输的是模拟信号的通信系统模拟通信的缺点模拟通信的缺点抗噪声和干扰能力差，传输中模拟信号会越来越弱抗噪声和干扰能力差，传输中模拟信号会越来越弱放大器的引入带来信噪比的恶化放大器的引入带来信噪比的恶化通信系统（通信系统（3）n 数字通信系统数字通信系统在信道中传输的是数字信号

13、的通信系统在信道中传输的是数字信号的通信系统数字通信的优缺点数字通信的优缺点抗噪声、抗干扰能力强：再生、体制抗噪声、抗干扰能力强：再生、体制差错可控：纠错码差错可控：纠错码易加密：数字信号易加密：数字信号适应性强适应性强占用频带宽占用频带宽系统和设备复杂系统和设备复杂数字化是通信发展的主流和趋势！数字化是通信发展的主流和趋势！通信系统（通信系统（4）n 典型数字通信系统框图典型数字通信系统框图信源编码和译码：压缩冗余，去除次要信息信源编码和译码：压缩冗余，去除次要信息信道编码和译码：增加冗余，提高传输可靠性信道编码和译码：增加冗余，提高传输可靠性数字调制和解调数字调制和解调同步：载波同步、时钟

14、同步、字同步同步：载波同步、时钟同步、字同步 信源 信源编码 信道编码 调制器 信道 解调器 信道译码 信源解码 信宿 噪声源 发同步 收同步 通信系统（通信系统（5）n 一个更完整的数字通信系统框图一个更完整的数字通信系统框图 格式化 信源 编码 加密 信道 编码 多路 复用 脉冲 调制 带通 调制 频率 扩展 复用 多址 接入 格式化 信源 译码 解密 信道 译码 多路 分接 检测 解调 采样 频率 解扩 复用 多址 接入 信源 信宿 消息码元 数字输入消息码元 消息码元 数字输出消息码元 比特流 数字基带波形 数字频带波形 信 道 同步 通信系统（通信系统（6）n 通信系统的其它形式通信

15、系统的其它形式 从系统构成看任何一个系统可以看成一个单发单收系统的组合系统。从系统构成看任何一个系统可以看成一个单发单收系统的组合系统。在多发多收系统中，除了涉及到上述描述的传输系统外，还包括信在多发多收系统中，除了涉及到上述描述的传输系统外，还包括信息的交换：即如何有效利用现有的通信资源，最大效率地进行信息息的交换：即如何有效利用现有的通信资源，最大效率地进行信息地传送，从而派生出通信网络的概念。由此引入了交换技术，网络地传送，从而派生出通信网络的概念。由此引入了交换技术，网络管理等技术。本课程的重点侧重于传输系统中涉及的关键技术与基管理等技术。本课程的重点侧重于传输系统中涉及的关键技术与基

16、本原理本原理.通信系统（通信系统（7）n 通信系统的分类通信系统的分类按消息的物理特征分类：按消息的物理特征分类：文字文字-电报系统电报系统 语音语音-电话系统电话系统 数字数字-数据通信系统数据通信系统 图象图象-图象通信系统图象通信系统通信系统（通信系统（8）按调制方式分类：按调制方式分类：基带传输：实现简便，用于近距离传输，不需考虑基带传输：实现简便，用于近距离传输，不需考虑频带利用率问题，干扰较小，可靠性高。不适用于长频带利用率问题，干扰较小，可靠性高。不适用于长距离传输。距离传输。调制传输：实现较复杂，用于长距离传输，需将信调制传输：实现较复杂，用于长距离传输，需将信息转换成便于传输

17、的形式，增强了抗干扰能力，有效息转换成便于传输的形式，增强了抗干扰能力，有效地利用频带。地利用频带。通信系统（通信系统（9）按传输信号的特征分按传输信号的特征分模拟通信模拟通信 采用原始的信源信号，如语音，图像信号等；采用原始的信源信号，如语音，图像信号等；实现相对简单实现相对简单 在长距离中继通信中抗干扰能力差在长距离中继通信中抗干扰能力差.信息交换实现较复杂信息交换实现较复杂 短距离传输保真度高短距离传输保真度高数字通信数字通信 采用数字采样、量化信源采用数字采样、量化信源 在长距离中继通信中，抗干扰能力在长距离中继通信中，抗干扰能力 强强 易于数字化处理易于数字化处理 设备集成度高设备集

18、成度高 信号的传输与交换易于融合信号的传输与交换易于融合 便于多路复用便于多路复用通信系统（通信系统（10）按复用方式分按复用方式分频分复用频分复用FDM时分复用时分复用TDM码分复用码分复用CDM波分复用波分复用WDM空分复用空分复用SDM按传输媒介分按传输媒介分有线通信系统：有线电视、光纤通信系统有线通信系统：有线电视、光纤通信系统无线通信系统：移动电话系统、无线局域网系统无线通信系统：移动电话系统、无线局域网系统通信方式通信方式n 单工、半双工和全双工通信单工、半双工和全双工通信单工通信：消息只能从一点沿一个方向传输给另一点，不能单工通信：消息只能从一点沿一个方向传输给另一点，不能沿反方

19、向传输。沿反方向传输。半双工通信：通信的两点间能够在两个方向上传输信息，但半双工通信：通信的两点间能够在两个方向上传输信息，但在某一时刻信道中只能有一个方向的信号在传输。在某一时刻信道中只能有一个方向的信号在传输。全双工通信：通信的两点间可以同时双向地传输信息全双工通信：通信的两点间可以同时双向地传输信息n 并行传输和串行传输并行传输和串行传输并行传输：数字信号码元序列分割成两路以上的码元序列在并行传输：数字信号码元序列分割成两路以上的码元序列在信道中传输信道中传输串行传输：数字信号的码元序列按照时间顺序一个一个地在串行传输：数字信号的码元序列按照时间顺序一个一个地在信道中传输信道中传输信道（

20、信道（1）n 信道信道信号传输的媒介或途径信号传输的媒介或途径n 信道的分类信道的分类有线信道有线信道架空明线架空明线双绞线双绞线同轴电缆同轴电缆光纤光纤信道（信道（2）无线信道无线信道地波传播：地波传播：2MHz以下的无线电波沿地球表面传输以下的无线电波沿地球表面传输天波传播：经电离层反射天波传播：经电离层反射视距（空间波）传播：直接从发射点传到接收点视距（空间波）传播：直接从发射点传到接收点无线电视距中继信道无线电视距中继信道卫星中继信道卫星中继信道对流层散射信道对流层散射信道流星余迹散射信道流星余迹散射信道恒参信道与变参信道恒参信道与变参信道信道中的噪声信道中的噪声通信技术的新进展（通信

21、技术的新进展（1）n 有线：有线：电缆：电缆：HDSL，VDSLPON：APON，EPON，GPONn 光纤光纤DWDM技术技术光交叉连接，几十光交叉连接，几十G Hz（千兆）带宽（千兆）带宽ROFn 无线无线微波中继微波中继卫星通信卫星通信WLANUWBWSNFSOn 移动通信移动通信2G，GSM，CDMA IS-95技术技术2.5G，GPRS,EDGES3G,CDMA2000,WCDMA,TD-SCDMA4G MC-CDMA?OFDM?MIMO？n 认知无线电认知无线电 软件无线电软件无线电认知无线电认知无线电通信技术的新进展（通信技术的新进展（2）信息的度量信息的度量n 信息信息新的、有

22、意义且可被理解的、不可压缩的东西新的、有意义且可被理解的、不可压缩的东西能够消除不确定性能够消除不确定性事件的随机性带来不确定性事件的随机性带来不确定性不确定的方式由随机变量给出不确定的方式由随机变量给出概率分布概率分布n 信息度量的特性信息度量的特性信息应该是非负的；信息应该是非负的；信息应该与消息的概率有关：出现的概率越低，包含的信息应该与消息的概率有关：出现的概率越低，包含的信息量越大；信息量越大；信息应该与消息的长度有关：若干独立消息之和的信息信息应该与消息的长度有关：若干独立消息之和的信息应该是每个消息携带信息的线性叠加；应该是每个消息携带信息的线性叠加；可能的消息数目是指数增长的，

23、但信息是线性的可能的消息数目是指数增长的，但信息是线性的n 离散信源的信息量离散信源的信息量 消息出现的概率的对数测度作为离散消息的信息度消息出现的概率的对数测度作为离散消息的信息度量。量。)(log)(iixPxH)(ixP为ix的概率),(jiyxPix为jy与同时出现的概率),(log),(jijiyxPyxH离散信源的信息量离散信源的信息量n 联合信源的信息量联合信源的信息量 联合消息出现的概率的对数测度作为联合信源的信联合消息出现的概率的对数测度作为联合信源的信息度量。息度量。n 离散信源的互信息量离散信源的互信息量 反映两个随机事件之间的统计关联程度反映两个随机事件之间的统计关联程

24、度 由一个随机实验的结果所帮助消除的另一个随机变由一个随机实验的结果所帮助消除的另一个随机变量的不确定性量的不确定性 当当 与与 统计独立时，互信息量为统计独立时，互信息量为0 当后验概率为当后验概率为1时，互信息量等于时，互信息量等于 的信息量的信息量)()|(log),(ijijixPyxPyxIixjyix离散信源的互信息量离散信源的互信息量n 互信息的物理含义互信息的物理含义观测到观测到Y以后，从以后，从Y所能获取的关于所能获取的关于X的信息，其本质的信息，其本质是信息的传递是信息的传递通信通信条件概率条件概率 是对一切信道的一致性和本征性描是对一切信道的一致性和本征性描述！述！互信息

25、描述了可靠传输信息的量互信息描述了可靠传输信息的量通信的目标：通信的目标：追求最大的互信息追求最大的互信息(|)jip yxXY可观测的结果希望了解的内容(|)jip yx信息通道互信息的物理意义互信息的物理意义n 熵的定义熵的定义n 熵的性质熵的性质 熵非负熵非负 熵的值与对数底有关熵的值与对数底有关取取2为底，则熵的单位是比特（为底，则熵的单位是比特（Bit）取自然对数取自然对数e为底，则熵的单位是奈特（为底，则熵的单位是奈特（Nat）取取10为底，则熵的单位是哈特（为底，则熵的单位是哈特（Hartely）熵为零，当且仅当熵为零，当且仅当n 熵的物理含义熵的物理含义 对应于描述信源所需的最

26、少字符数量信源压缩的极限对应于描述信源所需的最少字符数量信源压缩的极限 所需字符集合的大小为所取对数的底所需字符集合的大小为所取对数的底离散信源的平均信息量熵离散信源的平均信息量熵NiiixPxPXH1)(log)()()0,1ip x确定了通信系统所要传递的信息量的大小或信息速率！n 联合熵联合熵多个随机变量的不确定性测度多个随机变量的不确定性测度n 条件熵条件熵消除了一个随机变量的不确定性后，另一个随机变量消除了一个随机变量的不确定性后，另一个随机变量残留的不确定性残留的不确定性离散信源联合熵与条件熵离散信源联合熵与条件熵(|)(,)log(|)ijjiijH Y Xp x yp yx()

27、(,)log(,)ijijijH XYp x yp x y n 物理意义物理意义 两个随机变量的联合不确定性，等于一个随机变量的不确定性，加上两个随机变量的联合不确定性，等于一个随机变量的不确定性，加上知道这个随机变量后另一个随机变量残余知道这个随机变量后另一个随机变量残余的不确定性的不确定性 证明：证明：熵、联合熵及条件熵的关系熵、联合熵及条件熵的关系()()(|)H XYH XH Y X()(,)log()ijiijH Xp x yp x(|)(,)log(|)ijjiijH Y Xp x yp yx()(,)iijjp xp x y()(|)(,)log()(|)(,)log(,)()i

28、jijiijijijijH XH Y Xp x yp x p yxp x yp x yH XY ()()(|)H XYH YH X Y平均互信息量平均互信息量)|()()|()(log),()|()()|()(log),()()()()()(),(log),()()|(log),(),(XYHYHxypypyxpYXHXHyxpxpyxpXYHYHXHypxpyxpyxpxpyxpyxpYXIijjijjijiiijjijijiijjiijiijji通信的目标：最大化平均互信息量通信的目标：最大化平均互信息量平均信息量的不等式平均信息量的不等式n 基本不等式：对于基本不等式：对于 ，如下不等式

29、成立，如下不等式成立证明：令证明：令 ，求导函数可得，求导函数可得11ln1xxx0 x 1()1fxx 21()0fxxmin()(1)0f xfln1xx1yxxxxfln1)(yyln11熵与条件熵的不等式熵与条件熵的不等式n 熵不小于条件熵：熵不小于条件熵：证明：证明：(|)(,)log(|)ijjiijH Y Xp x yp yx()(,)log()ijiijH Yp x yp y(|)()(|)(,)log()(,)(,)log()()jiijijiijijijiip yxH YH Y Xp x yp yp x yp x yp x p y(,)()()(,)log(,)1()()(

30、,)(,)()()0ijiiijijijijiiijijiiijijp x yp x p yp x yp x yp x p yp x yp x yp x p y)|()()|()(YXHXHXYHYH熵、条件熵与联合熵的不等式熵、条件熵与联合熵的不等式n 联合熵不小于条件熵：联合熵不小于条件熵：证明：证明：而而 ，因此，因此n 联合熵大于任何一个随机变量的熵：联合熵大于任何一个随机变量的熵：证明：证明：()()(|)H XYH XH Y X()0H X()(|)H XYH Y X()()H XYH X(|)(,)log(|)()(|)log(|)ijjiijijijiijH Y Xp x yp

31、 yxp xp yxp yx(|)log(|)0jijijp yxp yx(|)0H Y X()()(|)H XYH XH Y X()(|)H XYH Y Xn 联合熵不大于两个随机变量熵之和联合熵不大于两个随机变量熵之和 证明：证明：n 离散随机变量在均匀分布时取得最大熵离散随机变量在均匀分布时取得最大熵 证明：证明：()()()H XYH XH Y()()(|)H XYH XH Y X()(|)H YH Y X1)(.)(log)(:maxiiixptsxpxp1)(0)(/)()()(log)()(expxpxFxpxpxpxFiiiii熵与联合熵的不等式熵与联合熵的不等式00.20.4

32、0.60.8100.20.40.60.81011Xpp拉格朗日乘数法n 抽样定理抽样定理 如果一个连续信号的频带限制在（如果一个连续信号的频带限制在（0，W）内，则它完全）内，则它完全可用间隔为可用间隔为 的采样序列无失真地表示。的采样序列无失真地表示。每个抽样点的平均信息量即连续信源的平均信息量每个抽样点的平均信息量即连续信源的平均信息量n 连续消息连续消息采用了近似于定积分的讨论方法：连续消息信号在每个抽采用了近似于定积分的讨论方法：连续消息信号在每个抽样点上的取值是一个连续的随机变量，其一元概率密度函数样点上的取值是一个连续的随机变量，其一元概率密度函数为。将随机变量的取值范围分成为。将

33、随机变量的取值范围分成2N段，取值落在小段，取值落在小段内的概率可近似表示为段内的概率可近似表示为连续信源的信息度量连续信源的信息度量)2/(1W)(xpiiiiixxpxxxxP)()()(log)()(1iiNNiiixxpxxpXH,0NxidxdxxpxpXH1log)(log)()(令令得：得：直接引用离散信源熵的定义直接引用离散信源熵的定义连续信源的熵连续信源的熵dxxpxpXH)(log)()(连续消息的平均信息量是一个相对的概念，对不同的一一对应连续消息的平均信息量是一个相对的概念，对不同的一一对应变换，它的值发生变化，因此，连续消息的平均信息量只能提变换，它的值发生变化，因此

34、，连续消息的平均信息量只能提供一个相对的比较量。供一个相对的比较量。绝对熵：绝对熵：相对熵：相对熵：一连续信源，其输出信号在（一连续信源，其输出信号在（-1，+1）内取值，服从均匀分布，）内取值，服从均匀分布，求该连续消息的平均信息量。如将输出信号放大求该连续消息的平均信息量。如将输出信号放大2倍，其平均信倍，其平均信息量为多少？息量为多少？解：（解：（1）.121log21)(11dxXH（2）信号放大后）信号放大后241log41)(22dxXH主要原因在于主要原因在于2log1log21logdxdx连续信源的例子连续信源的例子连续信源的条件熵与互熵连续信源的条件熵与互熵dydxxypy

35、xpXYH)|(log),()|()|()()|()(),(XYHYHYXHXHYXIdxdyypxpxypxypYXI)()()(log)(),(n 条件熵：条件熵：n互熵互熵思考题：离散信源各种熵之间的等式和不等式都适用于连续信思考题：离散信源各种熵之间的等式和不等式都适用于连续信源吗？请证明。源吗？请证明。连续信源熵的性质连续信源熵的性质n 平移不改变微分熵平移不改变微分熵n 放缩改变微分熵放缩改变微分熵 证明：证明：()()h Xch X()()log|h aXh XaYaX1()|YXyfyfaa()()log()11 log|loglog|()log|YYXXXXh aXfyfy

36、dyyyffdyaaaayfxfdxaah Xa n 离散信源离散信源当其所有符号等概率输出时，其平均信息量最大。当其所有符号等概率输出时，其平均信息量最大。n 连续信源连续信源与概率密度函数有关与概率密度函数有关功率受限信源功率受限信源峰值受限信源峰值受限信源熵最大的条件熵最大的条件功率受限连续信源最大熵分布功率受限连续信源最大熵分布已知条件：已知条件：1)(,)(22dxxpdxxpxdxxpxpXH)(log)()(求：求：为最大值时为最大值时,相应的概率密度函数相应的概率密度函数.利用拉格朗日乘数法利用拉格朗日乘数法,定义一个新的函数定义一个新的函数dxxpxxpxpxpxF)()()

37、(log)()(20)()(xpxF令：令：可得可得0)(log12xxp21)(xeexp)2exp(21)(22xxp则：则：此时最大熵为此时最大熵为eXH2log)(功率受限连续信源最大熵分布功率受限连续信源最大熵分布最大熵优化问题最大熵优化问题使用拉格朗日乘子方法使用拉格朗日乘子方法对概率分布求导，可得对概率分布求导，可得max:()log()()1.()0AAAAf xf x dxf x dxstf x(),)()log()()1AAAAL f xf xf x dxf x dx(),)1 log()0()L f xf xf x dx 1()2f x1()2f xA峰值受限连续信源最大

38、熵分布峰值受限连续信源最大熵分布n 信道容量信道容量单位时间内信道上所能传输的最大信息量单位时间内信道上所能传输的最大信息量n 通信追求的目标通信追求的目标在一定的信道条件下，最大化信息传输能力在一定的信道条件下，最大化信息传输能力目标是最大化互信息目标是最大化互信息I(x,y)n 如何优化？如何优化？信道信道 由客观物理环境所决定，不可控制由客观物理环境所决定，不可控制输入符号的分布输入符号的分布 由发射机设计者所决定，可控由发射机设计者所决定，可控制制n 信道容量的求解信道容量的求解最大的可靠信息传输量（最大互信息）最大的可靠信息传输量（最大互信息）信道容量信道容量(|)jip yx()i

39、p x),(max)(YXIrCixpjijiijiijiixypxypxpxypxpyxI)/()/()(log)/()(),(n离散对称信道离散对称信道:信道转移概率矩阵的各行和各列具有信道转移概率矩阵的各行和各列具有相同的集合的元素相同的集合的元素jijiLxyPij1)1/()|(.,|,YXLYXyYxXjin最大化平均互信息量最大化平均互信息量)|()()|()(),(XYHYHYXHXHYXI离散对称信道的信道容量离散对称信道的信道容量010111XYXN011N11n 离散对称信道的特点离散对称信道的特点 条件平均信息量与输入无关，只与信道条件转移概率相关条件平均信息量与输入无

40、关，只与信道条件转移概率相关 输入符号的等概与输出符号等概同时存在输入符号的等概与输出符号等概同时存在jijijjijijiiijijijiijjijixypxypxypxypxpxypxypxpxypyxpXYH)|(log)|()|(log)|()()|(log)|()()|(log)()|(离散对称信道的信道容量离散对称信道的信道容量LLLLxypLxypxpypiLijijLiij1)1)1()1(1)|(1)|()()(11rLLrLLLLrxypxypLrxypyxpLXYHYHrCijiLjjijLiLjji)1log)1log()1(log)1log(1)1()1log()1(

41、log)|(log)|(log)|(log)(log)|()(max(111 当当 L=2时时,rC)log)1log()1(2(log离散对称信道的信道容量离散对称信道的信道容量加性高斯白噪声连续信道的信道容量加性高斯白噪声连续信道的信道容量n 加性高斯白噪声信道加性高斯白噪声信道 接收信号接收信号 信道转移概率信道转移概率n 条件熵条件熵n 信道容量信道容量)()(log)()(log)()()|(log)|()()|(nHdnnpnpdnnpnpdxxpdyxypxypdxxpXYHnxyx为发送信号,n 为高斯白噪声)()|(npxyp)()(max)()(max()|()(max()

42、,(maxnHYHrnHYHrXYHYHrYXIrCn 考虑带宽考虑带宽W的信道，加性高斯白噪声的单边功率谱密度为的信道，加性高斯白噪声的单边功率谱密度为n 根据采样定理，该信道内单位时间最多能通过根据采样定理，该信道内单位时间最多能通过2W个独立的采样。所个独立的采样。所以，信道容量为以，信道容量为n 香农信道容量公式香农信道容量公式WXYHYHC2)|()(max(引用均方受限的结论引用均方受限的结论:)(2log)(maxNSeYHeNnH2log)(带限连续信道的信道容量香农公式带限连续信道的信道容量香农公式0n)/()1(log2sbitNSWC)/()1(log2sbitNSBCn

43、 提高信噪比能够增加信道容量提高信噪比能够增加信道容量n 无干扰信道信道容量为无穷大无干扰信道信道容量为无穷大n 增加信道频带并不能无限制地使信道容量增大增加信道频带并不能无限制地使信道容量增大n 信道容量一定时，信道带宽与信噪比彼此可以互换信道容量一定时，信道带宽与信噪比彼此可以互换 200limlog 1limlogln 1WWPPCWWeWnWnln(1)()xxo x22000limloglog1.44WPPPCWeeWnnn香农公式的讨论香农公式的讨论)1log(NSWC作业作业:2.3,2.6,2.13,2.14本讲重点内容本讲重点内容n 课程的重点课程的重点 通信系统的基本框图通信系统的基本框图 数字通信与模拟通信的比较数字通信与模拟通信的比较 信息的度量信息的度量 各种信息的计算方法及相互关系各种信息的计算方法及相互关系 互信息的物理含义互信息的物理含义 信道容量的定义信道容量的定义 香农信道容量公式香农信道容量公式n 要求掌握的内容要求掌握的内容 模拟通信系统的基本框图模拟通信系统的基本框图 数字通信的基本框图数字通信的基本框图 给定信源，能够计算各种信息量给定信源，能够计算各种信息量 能够熟练使用香农公式进行各种运算能够熟练使用香农公式进行各种运算n 重点课后习题重点课后习题 2.3，2.6，2.12、2.13、2.14