平均互信息的凸性课件.pptx
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《平均互信息的凸性课件.pptx》由用户(三亚风情)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 平均 互信 课件
- 资源描述:
-
1、平均互信息平均互信息 定义及含义定义及含义 信息信息/数据处理定理数据处理定理Review)()()()|()()|()();(XYHYHXHXYHYHYXHXHYXI);();();();(VUIYXIZXIYXI 性质:性质: 对称性、非负性、极值性对称性、非负性、极值性山农信息论:山农信息论: 为设计有效而可靠的通信系统提供理论依据为设计有效而可靠的通信系统提供理论依据 ( / )( / )R(D)= min ( ; )R(D)= Inf ( ; )DDp y xPp y xPI X YI X Y,限失真离散信源,限失真连续信源 2.给定信道,实现可靠通信的最大的传输速率即信道给定信道,
2、实现可靠通信的最大的传输速率即信道容量?容量? 信源编码定理:信源编码定理:RR(D)信道编码定理:信道编码定理:RC()()C = m ax(;)C =sup(;)SSqkQqxQIX YIX Y, 离 散 信 道, 连 续 信 道 问题:对应问题:对应互信息的最大值和最小值是否存在?互信息的最大值和最小值是否存在?互信息凸性互信息凸性回答回答2个问题:有效性,可靠性个问题:有效性,可靠性1.给定信源,保精度信源编码所需最小编码速率?给定信源,保精度信源编码所需最小编码速率?凸集凸集若集合若集合nRC(n维欧氏空间),有维欧氏空间),有CqCp , 且对任意实数且对任意实数,有有(1),pq
3、C显然,显然,n维欧氏空间维欧氏空间 为一凸集合。为一凸集合。01则称为则称为C为凸集合。为凸集合。概率矢量构成集合为凸集概率矢量构成集合为凸集定义定义 若一个若一个K维矢量维矢量 =( 1, 2, , K)的所有分量的所有分量为非负的,且和为为非负的,且和为1,即就称,即就称 为概率矢量。为概率矢量。引理引理 概率矢量全体所构成的区域概率矢量全体所构成的区域R是凸的。是凸的。证:若证:若 ,R,对,对0 1构造矢量构造矢量 =(1- )Kkakkk, 2, 10)1 (因此因此 是概率矢量,仍属于是概率矢量,仍属于R,所以,所以R是凸的。是凸的。KkKkkkKkka1111)1 (凸函数定义
4、凸函数定义定义在凸集定义在凸集R上上的一个的一个实函数实函数f,若它对所有,若它对所有,R和和0 1满足满足 f( )+(1 ) f ()f ( (1 ) 就称函数就称函数f为为R上的上的凸凸函数函数。若式中不等号的方向相反,就称若式中不等号的方向相反,就称f为为凸凸函数函数。若等号仅当若等号仅当 =0或或1时成立,就称时成立,就称f为为严格凸严格凸或严格凸或严格凸的。的。在在a,b上定义的上凸函数上定义的上凸函数在在a,b上定义的下凸函数上定义的下凸函数凸函数性质凸函数性质1) 若若f( )是凸是凸的,则的,则-f( )是凸是凸的,反过来也成立。的,反过来也成立。 2) 若若f1( ), f
5、2( ), fL( )是是R上的凸上的凸函数,函数,c1,c2,cL是正是正数,则数,则 为为R上的凸上的凸函数,若其中任一个是严函数,若其中任一个是严格凸的,则和式也是严格凸的。格凸的,则和式也是严格凸的。 Llllfc1)(3) (Jensen不等式不等式) 若若f( )是是R上的凸上的凸函数,则函数,则Ef( ) f (E ( )Jensen不等式不等式: 若f( )是R上的凸函数,则 E f( ) f (E ( ) 其中,E表示数学期望。证明证明:只对离散情况证明只对离散情况证明。 对于离散变量,令 ,则E f( ) f (E ( ) 可写成可用归纳法进行证明。可用归纳法进行证明。对两
6、点分布,根据凸函数的定义有假设当分布点个数为n时不等式成立,考察分布点个数为n+1时的情况。Llllpp11, 011221()()LLLlllf pppp f1212(1)()(1) () ,01fff对 ,令 则有 111,0niiippniip1 1111111()()()()() nnnnnnnp fp fpfppffpf1111()niinnifppf11111niinniniiifppfp定理定理: 如果函数f(x)在某个区间上存在非负(正)的二阶导数,则 f(x)为该区间上的凸函数(严格凸函数)。 证明证明:利用函数f(x)在x0点的泰勒级数展开:其中x*位于x0和x之间。根据假
7、设 ,因此,对任意的x,最后一项总是非负。设 ,01取 ,可得类似地,取 ,可得20000( *)( )()()()()2fxf xf xfxxxxx( *)0fx012(1)xxx1xx10012()()(1)()()f xf xfxxx2xx20021()()()()f xf xfxxx因此,得 证毕证毕 同理可证:如果函数f(x)在某个区间上存在的二阶导数0( 0 对所有对所有 k k = 0 = 0 ()f )(kf)(kf其中为一常数。证证:首先证明充分性。首先证明充分性。设函数f在 点满足KT条件,今证明 为极大值,即对任意 ,恒有 。由于f是凸函数,所以 f ( )(1 ) f
8、( )f (1 ) 0 1即f ( )f ( )f (1 ) f ( )/ 01R( )( ) 0ff( )f 11122212111212221222221(,(),()(,(),(1) )( )()( )(),(),()(,)(),(),()()(,KKKKKKKKKKKKKffffffffff 233312112,(),()(,()(,)KKKkKKKKff 0(1) )( )()( )lim( )()kkkkfffff因上式对任意 (0 1)成立,可令 0,得由KT条件有将其代入上式得从而证明 为极大值。现在证明必要性。令 使f 达到极大值,并假定偏导数在 处连续。则对任意 ,有式中0
9、1。以除两边并令0 得()()()kkkkkf 0)()(11KkKkkkff( )f RR0)()1(ff0)1(0ddf即因 为是概率矢量,所以至少有一个分量,例如i是严格正的,即i0。选择另一概率矢量满足式中 。于是有对于 也可选负值和正数,有 和kikkkkf0)()(ilkllilkl其 它 值( )( )0kiff0,k1( )( )0kff,1( )( )0kff,即( )( )kiff对对 ,因为概率矢量的关系只能选择,因为概率矢量的关系只能选择 ,由此由此, 得得0k0( )( )kiff证毕证毕熵的凸性熵的凸性证明:证明:),(112111KpppP),(222212Kpp
10、pP10)()1 ()()1 (2121PHPHPPH令令则则KiiiiiPpPpPPH1212121)1 (log()1 ()1 (KiiiiKiiiiPpPPpp12121211)1 (log()1 ()1 (log(1)1 (121KiiiPp由于由于KiiiKiiippppPPH12211121log1log)1 ()()1 ()(21PHPH当且仅当当且仅当 时等号成立时等号成立21PP p平均互信息量凸性平均互信息量凸性由互信息的定义式:由互信息的定义式:可知,它是输入分布可知,它是输入分布 及转移概率分布及转移概率分布 的函数。的函数。可以记为:可以记为: 如果转移概率分布固定,
11、I(X,Y)就是先验概率Q(X)的函数; 如果信源先验概率固定,I(X,Y)就是转移概率P(Y/X)的函数。( )q x( / )p y x(;)( ),(/)I X Yf Q xP yxxyyxypxypxqYXI)()(log)()()(;例例 设二元对称信道(BSC)的信源空间为:X=0,1; Q(X)=, 1-;求I(X;Y) 0 1-p 0 p p 1 1-p 1 因为已知转移概率,所以利用公式I(X,Y)=H(Y)-H(Y/X) 。 H(Y/X)=-q(xi) p(yj/xi) log p(yj/xi) =q(xi) -plog p+(1-p) log (1-p) =H(p) 其中
展开阅读全文