信息论基础复习课件.ppt

1、上一页上一页下一页下一页1则加性噪声信道可表示如下iiXY iZ根据随机信号的采样定理，可将随机信号离散化。因此，对时间离散信道的输入和输出序列可分别表示为1212X(Y( ,)X XY Y, ,)和12Z(ZZ随机噪声可表示为,， )上一页上一页下一页下一页212,12,XXY Y其输入序列为输出序列为iiiYXZ1212(,.)(,.)ZZ ZXXX其中与相互独立.Z当 是平稳过程时,称平该信道为稳信道;12,Z Z 当独立同分布时,无记忆加性噪称信道为声信道.NN特别地,如果它们的公共分布是正态分布 (0, )时,无记忆高斯信道该信道称为,这样的噪声称白噪声.:输入和输出序列有以下关系上

2、一页上一页下一页下一页3iZ如果噪声 的方差为0,则可以实现无干扰传输,iXR由于取值于实数 ,因此,信道容量为无穷.因此通常对信道输入应有某种约束，最常用的输入代价的约束是能量（或功率）的约束为：21ixPnni=1上一页上一页下一页下一页4P 有输入功率约束 的高斯信定义6道容.4.1量定义为(; )f xPCI X Y2( ):EX=max这个信道容量的计算并不是困难,事实上,取约束,EXP2条件为则:(; )( )()( )()I X Yh Yh Y Xh Yh XZ X1( )()( )( )( )log22h Yh Z Xh Yh Zh YeN上一页上一页下一页下一页5( )h Y

3、于是计算信道容量的问题就转化为求的极大值问题.,ZXEZEZNY X +Z2注意到 与 独立,且=0,而 =,所以()EY = E X +Z = EX +EZ=0222EY = EX +EZPNPN由定理6.2.6知,有方差为的连续随机变量的最大熵NPN在正态分布 (0,)时到达,所以1log2()2h Ye PN( )上一页上一页下一页下一页6YNPN其中等号成立当且仅当(0,),从而11(; )log2()log222I X Ye PNeN1log(1)2PN1max (; )log(1)2PCI X YNYNPN由于达到信道容量当且仅当(0,),ZNNX =Y -ZXNP又因为(0, )

4、,所以由,可得,(0, ).NP即达到信道容量的输入分布为正态分布 (0, )上一页上一页下一页下一页7一般无记忆加性噪声信道信道容量也可定义为：(; )f xPCI X Y2( ):EX=max或等价地表示为：( ( )( )f xPCh Yh Z2( ):EX=max由于有相同功率约束高斯信道是其特例，所以22EZNEXP当加性噪声功率为= ,输入功率约束为时1log(1)2XPCCN下界上一页上一页下一页下一页8Y X +Z另方面，由于 =，222EY = EX +EZPN1log2()( )2Ce PNh Z所以上界2EZN进一步，因为与= 有相同方差的分布中(0,)NN正态分布有最大

5、熵，所以1log(2)2h ZeN( )定义212h ZePee( )( )h Z为具有可微熵的熵功率-它就是具有可微熵的高斯随机变量的功率()EY = E X +Z = EX +EZ=0上一页上一页下一页下一页91log2()( )2Ce PNh Z所以就变为11log2()log(2)22eCe PNeP1log2ePNP一般无记忆加性噪声信道容量的上、下界：11loglog22ePNPNCNP上一页上一页下一页下一页10复习提要序论序论一、信息论的形成及历史 Claude Shannon及其主要贡献二、通信系统的模型 信源、信道、信宿及相互关系三、信息论的基本研究内容上一页上一页下一页下

6、一页11第一章第一章 随机变量的信息度量随机变量的信息度量一、信源的分类及数学模型连续信源单符号无记忆信源符号序列信源离散信源符号序列记忆无限有记忆信源马尔科夫信源上一页上一页下一页下一页12二、自信息二、自信息定义)(log)(1log)(xpxpxI性质、单位、随机事件的不确定性上一页上一页下一页下一页13三、信源的信息熵三、信源的信息熵定义：()( )log ( ) xH Xp xp x单位bit、nat、hart、N进信息单位信息含义（物理意义）联合熵：(,)( , )log ( , ) xyH X Yp x yp x y12(,)nH XXX上一页上一页下一页下一页14条件熵：( |

7、)( | )log ( | )yH Y Xxp y xp y xY(|)( )(|)( ,) log(|)xxyH YXp x H YXxp x yp yx XXY熵的简单性质：1( )0,H x 、等号成立的充要条件是X有退化分布2、极值性()log|H X X等号成立的充分必要条件是X服从均匀分布上一页上一页下一页下一页15),()|()()|()(),(XYHYXHYHXYHXHYXH3、链法则：12111(,)(|,)nniiiH XXXH XXX( )log(1)log(1) h ppppp二进熵函数：上一页上一页下一页下一页16四、相对熵和互信息相对熵：( )( )(| )( )l

8、oglog( )( )pxp xp xD p qp xEq xq xX(|)0Dpq相对熵的非负性：等号成立的充要条件是( )( )X cp xq xx对所有 成立上一页上一页下一页下一页17互信息、条件互信息(; )( ( , )|( )( )I X YD p x yp xp y( , )( , )log( )( )xyp x yp x yp xp y XY(;|)I X Y Z互信息的简单性质：1、非负性2、链法则3、数据处理不等式上一页上一页下一页下一页18各种熵及互信息的相互关系：(|)H X Y(|)H Y X(, )H X Y( )H Y()H X(; )I X YXY注：此图表示

9、了一些等式和不等式的关系，能够写出并从信息的角度来解释它们。上一页上一页下一页下一页19五、信息量的一些性质1、凸函数的定义2、Jensen不等式，对数和不等式3、D(p|q)是概率分布对(p,q)的凸函数(证明）4、熵 H (p) 是概率分布p的凹函数(证明)( | ),(; )p y xI X Yp x5、对任给的是 ( )的凹函数(证明)；( ),(; )p xI X Yp y x对任给的是 ( | )的凸函数(证明)。6、法诺不等式上一页上一页下一页下一页20第二章 随机过程的信息度量一、信源和随机过程的基本概念各种信源的数学模型：无记忆信源马尔科夫信源： 平稳分布、转移概率矩阵、香农

10、线图 相互关系平稳信源大数定理上一页上一页下一页下一页21二、随机过程的信息度量平稳信源的极限熵(熵率):L121( )(,)l i mdefnnHXH XXXn=121(|,)l i mnnnH XXXX-=L121inf(,)nnH XXXn)()(1XHXH特别1、无记忆信源：2、k阶平稳马氏信源：),|()(211kkXXXXHXH k1时：)|()(12XXHXH注：会计算平稳马氏信源的平稳分布及熵率注：会计算平稳马氏信源的平稳分布及熵率上一页上一页下一页下一页22三、渐近等分性1、对无记忆信源：1lognp Xn()H X依概率收敛到2、弱典型序列：( )121(,)log()()

11、= nnnnWXXXXp XH X()( )()-+ )-)- )（1） 22，若n H Xnn H Xnnp XXW( )1（2） ，若 充分大nrP Wn ()( )()1)- )+ )（3） (22，若 充分大n H Xnn H XWn上一页上一页下一页下一页23四、信源编码定理了解信源编码定理的内容(定理2.4.1)上一页上一页下一页下一页24第三章 数据压缩和信源编码一、等长码等长码的概念码率:l og2kR =Dn比特/信源字母 ( ()nnerPPf xxj=f j编码方案( , )的错误概率：上一页上一页下一页下一页25二、变长码变长码的定义、有限扩张码、唯一可译码、平均码长即

12、时码及存在的充要条件Kraft不等式：1imliD-=1码树、用树图法进行编码最优码长定理上一页上一页下一页下一页26三、编码方法1、Huffman码熟练掌握编码方法、了解该方法的特点、优势和不足 (特别注意补虚元的问题)2、算术码掌握香农法诺编码方法3、通用信源编码了解LZ算法、LZW算法的基本原理和具体方法上一页上一页下一页下一页27第四章 数据可靠传输和信道编码一、离散无记忆信道和信道容量()Q y x，XY离散信道的数学模型：信道编码的定义、编码速率、错误概率()()p xp xCI X;YI p;Q( )( )=max =max离散无记忆信道容量的定义：几种特殊的信道容量的计算：二进

13、无噪信道、二进对称信道、一般对称信道、弱对称信道、准对称信道上一页上一页下一页下一页28二、信道容量的计算会用拉格朗日乘数法求信道容量信道容量 的性质：CC1) 0；; C 2)log XlogC 3) ；Y了解信道容量的迭代算法的基本思想上一页上一页下一页下一页29三、线性分组码信道的译码规则最大后验概率译码规则:极大似然译码规则：平均错误概率：( )F y = x选择译码函数,使之满足条件( |) ()( | ) ( )p y xp xp y x p xx 对X ( )F y = x选择译码函数,使之满足条件(| )( | )p xyp x yx 对X,( ) ( | )exxypp x

14、p y xX上一页上一页下一页下一页30生成矩阵、校验矩阵、相互关系线性分组码的汉明距离、汉明重量检纠能力与最小距离（最小重量）的关系，与校验矩阵的关系(两个定理）TT00HGGH或系统码最小距离译码规则汉明码注：给出生成矩阵(或校验矩阵)求校验矩阵(或生成矩阵)、求所有码字、最小距离(最小重量)、检纠能力、求给出输出序列的译码。上一页上一页下一页下一页31第五章 限失真信源编码和率失真函数一、限失真信源编码模型和率失真函数2、失真测度、平均失真、失真矩阵1、限失真信源模型3、限失真信源编码、码率4、信息率失真函数(,)( , ) ( , )xxDEd X Xp x x d x xXX ( ,

15、 )xxp x Q x x d x xXX;,;minIQ x x Ed X XDRDI X X上一页上一页下一页下一页325、信息率失真函数的性质(定理5.1.1) maxmin,xxDp x d x x XX6、平稳信源的率失真函数11(,)( ,)nnniiid xxd x xn()inf (,)InnnRDI XX1()lim()IInnRDRDn特别对无记忆信源1IInRDnRD（ ）=（ ）1() =(IIRDR D上一页上一页下一页下一页33二、率失真函数的计算简单信源的信息率函数的计算用拉格朗日乘子法计算了解迭代算法的基本思想三、限失真信源编码定理了解限失真信源编码定理的基本内

16、容上一页上一页下一页下一页34第六章 连续信源和信道编码理论一、可微熵1、连续信源可微熵的定义:( )log ( )Rh Xh pp xp x dx( )= ( )=-简单的信源的熵的计算(均匀分布、指数分布、正态分布)XN 2( ,)21( )ln22h Xe 则联合熵、条件熵的定义、熵函数的性质随机变量经变换后可微熵的变化情况(定理6.1.2)上一页上一页下一页下一页35二、相对熵、互信息f xDff xdxx( )( g)=( )logg( ) ,XYI X;YD f x yfx fy ,logXYf x yf x ydxdyfx fy相对熵、互信息的性质及相互关系最大熵原理上一页上一页下一页下一页36三、信息率失真函数失真测度、率失真函数的定义率失真函数的性质高斯信源的率失真函数无记忆信源的率失真函数四、高斯信道高斯信道的定义、容量