信息论 信息熵课件.ppt

1、信信息息熵熵熵熵条条件件熵熵联联合合熵熵1.1.信息熵信息熵2.1.2 信息熵信息熵 已知单符号离散无记忆信源的数学模型已知单符号离散无记忆信源的数学模型niiixpnixp11)(,2,1,1)(0 且其中 )(,),(,),(),(,)(2121ninixpxpxpxpxxxxXPX定义：各离散消息自信息量的数学期望，即信源的定义：各离散消息自信息量的数学期望，即信源的。)(log)()(1log)()(212iniiiixpxpxpExIEXH例例:某地二月份天气构成的信源为某地二月份天气构成的信源为 81 ,81 ,41 ,21)(),(),(),()(4321雪雨阴晴xxxxXPX由

2、定义，该信源的熵为由定义，该信源的熵为)(75.12)81log81(21log4121log21)(222符号比特XH总括起来，信源熵有三种物理含义：总括起来，信源熵有三种物理含义：信源熵信源熵H(X)表示表示，离散消息所提供，离散消息所提供的的。信源熵信源熵H(X)表示表示，信源的，信源的。信源熵信源熵H(X)反映了反映了。123例：有三个信源例：有三个信源X，Y，Z，其概率空间为，其概率空间为0.5 5.0)(21xxXPX?0.01 .990 )(21yyYPY?1 0 )(21zzZPZ?)/(01log10log0)()/(08.001.0log01.099.0log99.0)()

3、/(15.0log5.05.0log5.0)(222222符号符号符号bitZHbitYHbitXH可见可见 H(X)H(Y)H(Z)，信源符号的概率分布越，信源符号的概率分布越均匀，则平均信息量越大，信源均匀，则平均信息量越大，信源X比信源比信源Y平均平均信息量大，信息量大，Z是确定事件，不含有信息量。是确定事件，不含有信息量。例：有一篇千字文章，假定每个字可从一万个汉例：有一篇千字文章，假定每个字可从一万个汉字中任选，则共有不同的千字文篇数为字中任选，则共有不同的千字文篇数为N=100001000=104000篇，按等概计算，平均每篇千篇，按等概计算，平均每篇千字文可提供的信息量？字文可提

4、供的信息量？)/(1033.110log)(log)()(44000212符号bitxpxpXHNiii思考：求条件熵思考：求条件熵时为什么要用联时为什么要用联合概率加权？合概率加权？)/(log)()/(211jinimjjiyxpyxpYXH)/(log)()/(211jinimjjixypyxpXYH例例:已 知已 知 X，Y 0，1 ，X Y 构 成 的 联 合 概 率 为：构 成 的 联 合 概 率 为：p(00)=p(11)=1/8，p(01)=p(10)=3/8,计算条件熵计算条件熵H(X/Y)。218381)10()00()0()0(12111yxpyxpypp21)1()1(

5、2ypp)()()/(jjijiypyxpyxp)1/1(412/18/1)0()00()0()00()0/0()0/0(11111pypyxpppyxpp43)1/0()0/1(pp)/(812.02)43log8341log81()1/1(log)11()0/1(log)10()1/0(log)01()0/0(log)00()/(222222符号比特ppppppppYXH)(log)()(211jinimjjiyxpyxpXYH12.1.3 信息熵的性质信息熵的性质证明：随机变量证明：随机变量X的概率分布满足的概率分布满足0p(xi)1，log2p(xi)0，所以，所以H(X)0因每一项非

6、负，所以必须是每一项为零等号才成立。因每一项非负，所以必须是每一项为零等号才成立。此时只有此时只有p(xi)=0或或p(xi)=1 时上式才成立，而时上式才成立，而所以只能有一个所以只能有一个p(xi)=1，而其他，而其他p(xk)=0(ki)。这个信源。这个信源是一个确知信源，其熵等于零。是一个确知信源，其熵等于零。niixp11)(非负性非负性 H(X)0其中等号成立的充要条件是当且仅当对某其中等号成立的充要条件是当且仅当对某i，p(xi)=1，其，其余的余的p(xk)=0(ki)。2 当变量当变量 p(x1),p(x2),p(xn)的顺序任意互换时，熵函数的值的顺序任意互换时，熵函数的值

7、不变，即不变，即niiixpxpxpHxpxpxpHniiinn,2,1,)(,),(),()(,),(),(212121其中：信源中包含信源中包含n个不同离散消息时，信源熵个不同离散消息时，信源熵H(X)有有 log)(nXH当且仅当当且仅当X中各个消息出现的概率全相等时，上式中各个消息出现的概率全相等时，上式取等号。取等号。3该式取等号。时，并且当且仅当时，当1,1ln0 xxxx证明：自然对数具有性质证明：自然对数具有性质的关系，引用令0,1ln,)(1xxxanpxi得并注意,loglnlogexxniiixnpxp1)(1log)(nxpxpxpniniiiilog)()(1log)

8、(11nXHlog)(0)(111niinixpnnXHlog)(niiexpn1log)(1 log)(nXH故有,1)(11)(1iniixnpxxp?nxpi1)(0)0,1,0()0,0,1()0,1(HHH4 )()()(YXHYHXYH )()()(XYHXHXYH5 jijijijijijiiiijijjiiijijiijijijiijjijixypxypxpyxpXYHXHXYHxypxpxpxypyxpxpxypxpxypxpyxpyxpyxpXYH1)/()/()()()/()()/()/()(1log)()/(1log)()(1log)/()()/()(1log)()(1

9、log)()(22222其其中中6香农辅助定理和极值性香农辅助定理和极值性 1)()()(log)()(log)(111212niiniiiniiniiiypxpypxpxpxp其中对于任意两个消息数相同的信源对于任意两个消息数相同的信源X和和Y，i=1,2,n,有有含义：任一概率分布对其他概率分布的自信息量含义：任一概率分布对其他概率分布的自信息量取数学期望，必大于等于本身的熵。取数学期望，必大于等于本身的熵。由上式可证明条件熵小于等于等于无条件熵，即由上式可证明条件熵小于等于等于无条件熵，即H(X/Y)H(X)()()/()(ijjijjiixpyxpyxpyp其中：)()(1log)()

10、(1log)/()()(1log)/()()/(1log)/()()/(1log)/()()/(22222XHxpxpxpyxpypxpyxpypyxpyxpypyxpyxpypYXHiiiiijjijjiijijjijijijijjijij 二进制通信系统用符号二进制通信系统用符号“0”和和“1”，由于存在失真，传输时会产生误码，由于存在失真，传输时会产生误码，用符号表示下列事件：用符号表示下列事件：u0：一个：一个“0”发出；发出；u1：一个：一个“1”发出；发出；v0：一个：一个“0”收到；收到；v1：一个：一个“1”收到；收到；给定下列概率：给定下列概率：p(u0)=1/2，p(v0/

11、u0)=3/4，p(v0/u1)=1/2，求，求 （1）已知发出一个）已知发出一个“0”，收到符号后得到的信息量；，收到符号后得到的信息量；（2）已知发出的符号，收到符号后得到的信息量；）已知发出的符号，收到符号后得到的信息量；（3）知道发出的和收到的符号能得到的信息量；）知道发出的和收到的符号能得到的信息量；（4）已知收到的符号，被告知发出的符号能得到的信息量；）已知收到的符号，被告知发出的符号能得到的信息量；作业：作业：2.3 2.42.3 2.3 居住某地区的女孩子有居住某地区的女孩子有25%25%是大学生，在是大学生，在女大学生中有女大学生中有75%75%是身高是身高160160厘米以

12、上的，而女厘米以上的，而女孩子中身高孩子中身高160160厘米以上的占总数的一半。假厘米以上的占总数的一半。假如我们得知如我们得知“身高身高160160厘米以上的某女孩是大厘米以上的某女孩是大学生学生”的消息，问获得多少信息量？的消息，问获得多少信息量？2.4 2.4 设离散无记忆信源设离散无记忆信源8/14/1324/18/310)(4321xxxxXPX，其发出的信息为，其发出的信息为(20212013021300120321011032101002103201122321(202120130213001203210110321010021032011223210)0)，求，求(1)(1)此消息的自信息量是多少？此消息的自信息量是多少？(2)(2)此消息中平均每符号携带的信息量是多少？此消息中平均每符号携带的信息量是多少？