《信息论基础》课件第4章 连续信源的相对熵.ppt

1、4.1 连续信源你的相对熵 连续信源：用连续随机变量描述输出消息的信源。1)(badxxp(,)()()XXa bRXpxpxP 或数学模型：一 相对熵的定义Hc(X)：信息熵nXX分层量化连续离散0lim()()ncH XHXX 0 利用离散信源熵的概念来定义连续信源熵，如图表示a,b区间的连续随机变量。x p(x)p(xi)xi b 0 a 首先把X的取值区间a,b分割为n个小区间，小区间宽度为:=(b-a)/n。根据概率密度函数曲线的区间面积关系，X取值为xi的概率为:Pi=p(xi)得到离散信源Xn的信源空间为:Xn,PXn:x1x2xnP(Xn):p(x1)p(x2)p(xn)nnp

2、ppXPxxxXPX2121:)(:)(ixpniiniixpp11)(niiaiadxxp1)1()(1)(badxxpniiinppXH1log)(niiixpxp1)(log)(niiixpxp1)(log)(niixp1log)(nXXn00lim()()ncnH XHXniiinxpxp10)(log)(limlog)(1niixplog)(log)(lim1)1(0niiaiandxxpxploglim)(log)(0badxxpxp相对熵：h(X)0()()limlogcHXh X确定值部分无限大常数项RdxxpxpXh)(log)()(称为连续信源的熵。二 几种连续信源的相对熵

3、1.均匀分布：),(0),(1)(:)(,:baxbaxabxpXpbaXPXbadxxpxpXh)(log)()(badxabab1log1badxabab1)log(1)log(ab0)(10)(1XhabXhab相对熵无非负性，可为负值2.高斯分布：222)(221)(:)(),(:mxexpXpRXPXdxxpmxdxxxpm)()()(221)(dxxpdxxpxpXh)(ln)()(dxexpmx222)(221ln)(dxexpdxxpmx222)(2ln)(21ln)(edxmxxpdxxpln2)()()(2ln21222dxxpmxe)()(ln212ln21222eln2

4、12ln21222ln21e与方差有关，与均值无关当均值m=0，即方差表示平均功率时：ePXh2ln21)(相对熵只与平均功率有关3.指数分布：)0(0)0(1)(:)(),0(:xxeaxpXpXPXaxadxxxpxEm0)(dxxpxpXh)(ln)()(dxeaxpax1ln)(dxexpdxaxpaxln)(1ln)(dxxxpeadxxpa)(ln1)(lnealnlnaeln指数分布的相对熵只取决于信源的均值a小结小结151.连续信源的相对熵的定义：2.几种连续信源的相对熵：均匀分布、高斯分布、指数分布RdxxpxpXh)(log)()(4.2 几种单维连续信源的相对熵1.均匀分

5、布：),(0),(1)(:)(,:baxbaxabxpXpbaXPXbadxxpxpXh)(log)()(badxabab1log1badxabab1)log(1)log(ab0)(10)(1XhabXhab相对熵无非负性，可为负值2.高斯分布：222)(221)(:)(),(:mxexpXpRXPXdxxpmxdxxxpm)()()(221)(dxxpdxxpxpXh)(ln)()(dxexpmx222)(221ln)(dxexpdxxpmx222)(2ln)(21ln)(edxmxxpdxxpln2)()()(2ln21222dxxpmxe)()(ln212ln21222eln212ln2

6、1222ln21e与方差有关，与均值无关当均值m=0，即方差表示平均功率时：ePXh2ln21)(相对熵只与平均功率有关3.指数分布：)0(0)0(1)(:)(),0(:xxeaxpXpXPXaxadxxxpxEm0)(dxxpxpXh)(ln)()(dxeaxpax1ln)(dxexpdxaxpaxln)(1ln)(dxxxpeadxxpa)(ln1)(lnealnlnaeln指数分布的相对熵只取决于信源的均值a4.3 最大相对熵定理极值性、上凸性相对熵具有极大值1)(dxxpmdxxxp)(Pdxxpx)(2 一维连续信源X的相对熵h(X)的最大值，是概率密度函数p(x)的函数h(X)的条

7、件极大值。考虑：dxxpxqdxxqxq)(ln)()(ln)(dxxpxqdxxqxq)(ln)()(ln)(则：dxxpxpXhp)(ln)()(1.峰值功率受限（取值区间受限）：均匀分布相对熵最大1)(badxxq),(0),(1)(baxbaxabxp1)(badxxpbadxxpxq)(ln)(badxabxq1ln)(badxxqab)()ln()ln(abbadxxpxp)(ln)()(xhp2.平均功率受限：高斯分布相对熵最大1)(dxxqmdxxxq)(Pdxxqx)(2222)(221)(mxexp1)(dxxpmdxxxp)(Pdxxpx)(2dxxpxq)(ln)(dx

8、exqmx222)(221ln)(dxmxxqdxxq222)()(21ln)(2dxxqmxdxxq)(2)(221)(2ln212eln212ln21222ln21edxxpxp)(ln)()(xhp3.均值受限（取值非负）：指数分布相对熵最大1)(0dxxqadxxxq0)()0(0)0(1)(xxeaxpax1)(0dxxpadxxxp0)(0)(ln)(dxxpxq01ln)(dxeaxqax00)(1ln)(dxaxxqdxaxq00)(1)(lndxxxqadxxqaaeln0)(ln)(dxxpxp)(xhp1.对于峰值功率受限的连续信源，均匀分布的相对熵对于峰值功率受限的连续

9、信源，均匀分布的相对熵最大；最大；2.对于输出平均功率受限的连续信源，在假设状态相对于输出平均功率受限的连续信源，在假设状态相互独立时，当其概率密度函数为高斯分布时，具有最互独立时，当其概率密度函数为高斯分布时，具有最大熵；大熵；3.对于均值受限的连续信源，指数分布输出相对熵最对于均值受限的连续信源，指数分布输出相对熵最大。大。结论：（最大熵定理）熵功率熵功率平均功率受限（m=0)：ePXhp2ln21)(PeXhq2ln21)(PP 熵功率4.4 连续熵的变换信 源信息处理网络信 道XY)(:)(,:xpXpbaXPXI1)(baIdxxp)(:)(,:0 xpYpbaYPY1)(0badx

10、xp)()(yxxxyy1)()(baIbaIdyyxJyxpdxxpyxJyxpypI)()(0dxxyJdy1yxJxyJbadyypypYh)(log)()(00baIIdxxyJyxJyxpyxJyxp)(log)(baIIdxyxJyxpyxp)(log)(baIbaIIdxyxJxpdxxpxplog)()(log)(log)(yxJEXhx).()(2exp21)(.102YhypYxxpXaXYI和连续熵的概率密度函数续随机变量求信息处理网络输出连为标准正态分布信源单维连续信源关系是：设信息处理网络的变化例解：aYX1yxJyxJyxpypI)()(012exp212ay2)(

11、exp21222ayeXh2ln21)(log)()(yxJEXhYhxdxxpeI1ln)(2ln2122ln21e4.5 连续信道连续信道 1 连续连续信道的分类：信道的分类：按噪声统计特性分类按噪声统计特性分类 高斯信道：若信道的噪声是高斯噪声，即噪声是平稳随机过程，其瞬时值的概率密度函数服从正态分布（高斯分布），则此信道称为高斯信道。白噪声信道：若信道的噪声是白噪声，即噪声是平稳随机过程，其功率谱密度均匀分布于整个频域，则此信道称为白噪声信道。高斯白噪声信道：若信道的噪声是高斯分布的白噪声，则此信道称为高斯白噪声信道。按噪声对信号的作用功能分类按噪声对信号的作用功能分类 乘性信道：信道

12、中噪声对信号的作用表现为与信号相乘的关系。加性信道：信道中噪声对信号的作用表现为与信号相加的关系。根据时间取样定理，把波形信道的输入x(t)和输出y(t)的平稳随机过程信号离散化成(=2FT)个时间离散、取值连续的平稳随机序列X=X1X2XN和Y=Y1Y2YN。这样，波形信道就转化为多维连续信道。l 基本连续信道：输入和输出都是单个连续型随机变量的信道。即单符号连续信道，其输入是连续型随机变量X，X取值于a,b或实数域R；输出也是连续型随机变量Y，取值于a,b或实数域R；信道的传递概率密度函数为p(y/x)，并满足 因此，可用X,p(y/x),Y来描述单符号连续信道。(/)1Rpyx dy l

13、多维连续信道：多维连续信道：输入是N维连续型随机序列X=X1X2XN，输出也是N维连续型随机序列Y=Y1Y2YN，而信道传递概率密度函数是 p(y/x)=p(y1y2yn/x1x2xn)并且满足 用X,P(y/x),Y来描述多维连续信道。121212.(./.).1NNNR RRp y yyx xxdydydy 2 连续信道的信息传输率连续信道的信息传输率 连续信道的平均互信息连续信道的平均互信息 单符号连续信道的平均互信息单符号连续信道的平均互信息连续信道X,P(y/x),Y的平均互信息 I(X;Y)=h(X)h(X/Y)=h(Y)h(Y/X)=h(X)+h(Y)h(XY)单符号连续信道的信

14、息传输率：R=I(X;Y)（比特/自由度）(/)()log()Rp xyp xydxdyp xdxdyypxypxypR)()/(log)()()log()()Rp xyp xydxdyp x p y 多维连续信道X,P(y/x),Y的平均互信息 I(X;Y)=h(X)h(X/Y)=h(Y)h(Y/X)=h(X)+h(Y)h(XY)平均互信息的单位是比特/N个自由度或奈特/N个自由度。多维连续信道的信息传输率：R=I(X;Y)（比特/N个自由度）dxdyxpyxpxypXY)()/(log)(dxdyypxypxypXY)()/(log)(dxdyypxpxypxypXY)()()(log)(

15、3 连续信道平均互信息的特性连续信道平均互信息的特性(1)非负性 I(X;Y)0 当且仅当X和Y统计独立时，等式成立。(2)对称性 I(X;Y)I(Y;X)(3)凸状性 I(X;Y)是输入信源的概率密度函数p(x)的上凸函数；I(X;Y)是信道传递概率密度函数p(y/x)的下凸函数。(4)信息不增性（又称数据处理定理）连续信道输入变量为X，输出变量为Y，若对连续随机变量Y再进行处理而成为另一连续随机变量Z，总会丢失信息，最多保持原获得的信息不变，而所获得的信息不会增加。即数据处理定理。I(X;Z)I(X;Y)若连续随机变量X-Y-Z形成马氏链，则 I(X;Z)I(X;Y)若连续随机矢量S-X-

16、Y-Z形成马氏链，则 I(S;Z)I(X;Z)I(X;Y)平均互信息的不变性信源变换I信道变换II信宿SXYZ)()()()(zyyyzzsxxxssszxyJxypszp)()(zysyzxsxszxyJzysxdzdydsdxdzdydsdxxypszp)()(sxJxpsp)()(dsdxxp)(zyJypzp)()(dzdyyp)(dsdxxpdzdydsdxxypszp)()()/(dzdyxyp)/(dsdzzpszpszpZSIs z)()/(log)();(dxdyxyszJdzdyypdzdyxypszxyJxypx y)()/(log)(dxdyypxypxypx y)()

17、/(log)();(YXI (6)I(X;Y)与I(Xi;Yi)的关系 若平稳连续信源无记忆即p(x)=则有 I(X;Y)若多维连续信道无记忆即p(y/x)=则有 I(X;Y)若连续信源和连续信道都是无记忆时，即上两等式条件都成立，则有 I(X;Y)Niixp1)(1(;)NiiiI X YNiiixyp1)/();(1NiiiYXI);(1NiiiYXI4 4 连续信道的信道容量连续信道的信道容量 对于固定的连续信道，和离散信道一样，都有一个最大的信息传输率，称之为信道容量。一般多维连续信道的信道容量为 C=max I(X;Y)=maxh(X)h(Y/X)比特/N个自由度高斯加性信道的容量1

18、）加性信道：+NXY=X+N1.X、N统计独立2.噪声的干扰作用表现为噪声N对信源X的线形叠加加性信道nxnxyxnxxxyyxnxyxx),(),(),(),(11101),(),(ynxnyxxxyxnxJ)(),(),()()(xnpyxnxJxnpxyp)()()(npxpxnp)()()/()()(npxpxypxpxyp)()/(npxyp1),(),(1),(),(yxnxJnxyxJdxdndxdnnxyxJdxdy),(),(X YdxdyxypxypXYh)/(log)()/(X NdxdnnxyxJnpxnp),(),()(log)(X Ndxdnnpnpxp)(log)

19、()(XNdnnpnpdxxp)(log)()(Ndnnpnp)(log)()(Nh)/()();(XYhYhYXI)()(NhYh);(max)(YXICXp)()(max)(NhYhXp)()(max)(NhYhXp2）高斯加性信道的容量：),0(2N2NP2)(2ln21)(maxeYhCXp平均功率受限：YXPP),0(2YY2YYP),0(2XX2XXP222XY2222ln21)(2ln21eeCX)ln(21222X)1ln(2122X)1ln(21NXPPnat/维（自由度）5 连续信道编码定理连续信道编码定理 定理定理 对于限带高斯白噪声加性信道，噪声功率为Pn,带宽为W，信号平均功率受限为PS，则（1）当R CWlog(1+PS/Pn)，总可以找到一种信道编码在信道中以信息传输率R传输信息，而使错误概率任意小。（2）当R C，找不到一种信道编码，在信道中以R传输信息而使错误概率任意小。实际应用：对于一定的信息传输率来说，带宽W、传输时间T和信噪功率比PS/Pn三者之间的关系（即有以下三种匹配方式）：（1）在固定传输时间T下，以带宽换取信噪比；（2）在固定信噪比PS/Pn下，以频带换取时间；（3）在固定频带W下，以时间换取信噪比。