无失真信源与信息熵课件.ppt

1、1普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著2普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著4普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著0101011122XppP1212()()()nnaaaXp ap ap aP1()1niip x5普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著()Xpx 为概率密度函数(,)()Xa bXpxP ()1bXapx dx 6普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著1212()()()LLnnpppXxXxXxXx

2、xxP3230011000001111pp ppXXXXP7普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著0000011116414125125125 XXXXP8普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著11121112(,)(,)(,)(,)(,)(,)nnnna aa aa ap a ap a ap a a XP,1(,)1niji jp a a9普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著u 5、独立同分布信源、独立同分布信源 在离散无记忆信源中，信源输出的每个符号在离散无记忆信源中，信源输出的每个符号是是统计独立统计独立的，且具有的，且

3、具有相同的概率空间相同的概率空间，即有，即有 p1(X1)=p(X2)=p(Xi),则该信源是离散平稳无记忆信源，亦称为则该信源是离散平稳无记忆信源，亦称为独立同独立同分布分布(independently identical distribution，i.i.d.)信源。信源。10普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著1212111(,)()(/)(/)LLLp X XXp X p XXp XXX11普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著12普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著13普通高等教育“十五”国家级规划教材信息论与编码

4、 曹雪虹等编著14普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著1211123111231(,)(/,)(,)(/,)(,)LLLLLL mLLp XXXp XXXp XXXXp XXXp XXXX15普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著121(,),mkiiiiinsx xxxAaa 12(,)QSs ss16普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著/01jiijijijj SP ssppp17普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著1112121212,ijQQQQQQpi jSpppppppppP每行的概率每行

5、的概率之和为之和为118普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著()kkpp1jj Qw19普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著1jj Qwiijjiw pw20普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著20sos10.60.30.4s20.20.80.70.60.40(|)0.300.70.200.8jip ss5.0,1429.0,3571.018.07.04.02.03.06.0210210221100210WWWWWWWWWWWWWWWpijjiiWW21普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著起始状态0

6、00110111/201/401/203/4001/301/502/304/5S1(00)S2(01)S3(10)S4(11)22普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著113213324424123411132424112435351WWWWWWWWWWWWWWWW，解得稳态分布的概率为：解得稳态分布的概率为：123436643535357WWWW，23普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著24普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著25普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著1()log()log()iiii

7、I xap xp x 26普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著27普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著1(,)log(,)log(,)ijijijI x yp x yp x y 11(,)loglog()()(,)()()ijiiijijI x yI xI xp x yp xp y28普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著1(,)log(,)log(,)1log()(/)()(/)ijijijjijjijI x yp x yp x yI yI xyp yp xy 29普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编

8、著1(/)log(/)log(/)ijijijI x yp x yp x y30普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著31普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著1(,)64ijp x y221(,)log(,)log664ijijI x yp x ybit 222(,)1(/)log(/)loglog3()8ijijijjp x yI xyp xybitp y 32普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著33普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著120.80.2XxxP11()log()0.8I xp xlb

9、bit34普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著2222121122221122()log()log 0.2()()()()(0.8log 0.80.2log 0.2)()()()()()log()iiiI xp xbitNINp x I xNp x I xNIp x I xp x I xp xp x 如果摸取N次之后，红球出现的次数为Np(x)次，白球出现的次数为Np(x)次；那么随机摸出 次后所获得的信息量为：平均每次所获得的信息量为那如果摸出的是白球，那么获得的信息量是：那如果摸出的是白球，那么获得的信息量是：35普通高等教育“十五”国家级规划教材信息论与编码 曹雪

10、虹等编著()()()log()iiiH XE I xp xp x 36普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著123()1/2()1/4()1/4p xp xp x111()244 1.5/244H Xlblblbbit符 号37普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著510310510310/137510321210log)(log)()(niiixpxpXH 3 105 3.32 比特/画面 38普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著38qpPX10则二元信源熵为则二元信源熵为 H(X)=plogpqlogq =plogp(1

11、p)log(1p)=H(p)39普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著390 0.2 0.4 0.6 0.8 110.80.60.40.2pH(p)当二元信源符号当二元信源符号0和和1以以等概率等概率发生时发生时,信源熵达信源熵达 到极大值到极大值,等于等于1比特信息量。比特信息量。40普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著(/)log(/)ijijI xyp xy(/)(/)(/)jijijiH Xyp xyI xy,(/)()(/)()(/)(/)(,)(/)jjjjijiji jijiji jH X Yp yH Xyp yp xyI xyp x

12、 yI xy41普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著(/)(,)(/)(,)log(/)(2 2 4)ijijijijijijH X Yp x y I x yp x yp x y(/)(,)(/)(,)log(/)(2 2 5)ijjiijjiijijH Y Xp x y I yxp x yp yx 42普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,(,)(,)(,)(,)log(,)(2 2 6)ijijijiji ji jH X Yp x y I x yp x yp x y(,)()(/)()(/)H X YH XHY XHYH X Y43普通高等教

13、育“十五”国家级规划教材信息论与编码 曹雪虹等编著()()log()iiiH Xp xp x,(/)(,)log(/)ijiji jH X Yp x yp xy,(,)(,)log(,)ijiji jH X Yp x yp x y 符号符号熵熵条件熵条件熵联合联合熵熵(,)()(/)H X YH XH YX三者之间的关系：三者之间的关系：44普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著XY0101 23/41/21/21/4（1）信源熵）信源熵符号/92.031log3132log32)31,32()(bitHXH45普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著

14、)()()|(jjijiypyxpyxp由由12/12/1)()()|(00000ypyxpyxp得0)()()|(00101ypyxpyxp符号/33.0)|(log),()|(bityxpyxpYXHjiijji46普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著47普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著82.041log4143log43)|(log)|()|(log)|()|(log)|()|(220120100200000uvpuvpuvpuvpuvpuvpuVHiii48普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著符号比特/91.0

15、21log4121log4141log8143log83)|(log)()|(22221010iijjijuvpvupUVH符号比特/91.141log4141log4181log8183log83)(log)()(22221010ijijijvupvupUVH49普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著83)()(85)()(10111000iiiivupvpvupvp95.096.091.1)()()|(96.0)85,83()(VHUVHVUHHVH（4）可求出：）可求出：解法解法1：50普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著53854321)(

16、)|()()|(000000vpuvpupvup符号/95.0)|(log)()|(1010bitvupvupVUHijijij51普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著有扰信道干扰源信源X信宿Y)()()(2121nnxpxpxpxxxPX)()()(2121nnypypypyyyPY52普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著53普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著)()|(log);(2ijijixpyxpyxI后，通过信道传递后，通过信道传递给信宿的信息量；给信宿的信息量；54普通高等教育“十五”国家级规划教材信息论与编

17、码 曹雪虹等编著);()()|(log)()()(log)()|(log);(ijjijjijiijijixyIypxypypxpyxpxpyxpyxI)|()()|()();(ijjjiijixyIyIyxIxIyxI公式可得：公式可得：55普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著(|)(;)(|)(;)(|)log()ijjijijijiiip x yI X yp x y I x yp x yp x(|)(;)()(;)()(|)log()ijjjjijjijip x yI X Yp y I X yp y p x yp x(|)(,)log()ijijijip xyp

18、x yp x56普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著)|()();(YXHXHYXI57普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著);()()|(log)()()()(log)()()|(log)();(XYIypxypyxpypxpyxpyxpxpyxpyxpYXIijiijjiijijijijijijiji58普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著I(X;Y)H(X)H(Y)H(X/Y)疑义度或损失熵疑义度或损失熵 H(Y/X)噪声熵噪声熵59普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著60普通高等教育“十五”

19、国家级规划教材信息论与编码 曹雪虹等编著)();(0XHYXI61普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著(|)(;)()log()()()log()()(|)()log()(|)()(/)log()(/)ijijijiijijijijjiijijijiijiijijiip xyI X Yp x yp xp x yp x yp x p yp yxp x yp yp yxp x p yxp x P yx互信息互信息I函数的特函数的特点点62普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著63普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著)()|(lo

20、g);(ikjikjixpzyxpzyxI)|()|(log)|;(kikjikjizxpzyxpzyxI64普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著存在存在3个变量时，个变量时，互信息、条件互信息以及联互信息、条件互信息以及联 合互信息三者之间的关系：合互信息三者之间的关系：)|;();()|;();()|()|(log)()|(log)|()()|()|(log)()|(log);(kjikijkijijikjiijijiikjijiikjikjizyxIzxIyzxIyxIyxpzyxpxpyxpyxpxpzyxpyxpxpzyxpzyxI65普通高等教育“十五”国家

21、级规划教材信息论与编码 曹雪虹等编著三维联合集三维联合集XYZ上的平均互信息量上的平均互信息量)|;()|;();();()|;();();();()|;();();()|;(),();(ZYXIYZXIYXIZXIZYXIZXIZYXIYZXIYXZIXYIXYZIYZXIYXIYZXI66普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著第一级处理器第二级处理器XYZ输入 级联处理器);();();();(YXIZXIZYIZXI67普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著68普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著 编码译码UXV信道Y)

22、;();(YXIVUI从而从而);();();();(YXIVXIVXIVUI所以，信息经过编码或译码处理后均不可能所以，信息经过编码或译码处理后均不可能增加，增加，只能减少只能减少。69普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著70普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著(1,0)(1,0,0)(1,0,0)0HHH12(,)loglogniiiiiiH p pppppq niyqYxpX,2,1,)()(71普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著MMMHXH2log1,1)()()()()()|()()|(YHXHXYHYHXYH

23、XHYXH6.72普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著)()()()|()()|()();(XYHYHXHXYHYHYXHXHYXI)|()()|()()()()()|()()|()()(XYHYHYXHXHYHXHXYHYXHYHXYHXHXYHH(X|Y)H(X)H(Y)H(X,Y)H(Y|X)I(X;Y)73普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著)()|()()|(xpyxpypxyp则:)()|();()|(YHXYHXHYXH)|()(YXHXH)|()(XYHYH0);(YXI)()(),(YHXHYXH74普通高等教育“十五”国家级规

24、划教材信息论与编码 曹雪虹等编著75普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著离散离散信源信源离散离散无记忆无记忆信源信源离散离散有记忆有记忆信源信源发出单个符号的无记忆信源发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源76普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著6/16/16/16/16/16/1654321PX000 001 010 011 100 101 110 1111111111188888888XP77普通高等教育“十五

25、”国家级规划教材信息论与编码 曹雪虹等编著121212(,)(,)(,)LniiiiLilnXXXXXxxxxAa aa78普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著)|()|()|()()|()|()|()(),()X(12i11312112121312121LiiiiiiiiiiiiiiiiiiiixxpxxpxxpxpxxxxpxxxpxxpxpxxxppLLLL79普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著LliiiiiiiilLLxpxpxpxpxpxxxpp1i)()()()()(),()X(32121LlLlliLliiniiiAHXHxpxp

26、XpXpHllL1111)()()(log)()(log)()X(80普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著1121212111211 1 2 1121()()log()()()()()()()log()(,)log(,)()()()log()log()()()()loLLLniiiiiiiLnniiiiiLiiiLiinnniiiLiiLiiiLiiLiHpppp xp xp xHppp xxxp xxxp xp xp xp xp xp xp xp x XxxxXxx1112 111 11 1(1)1111g()()()()log()()()nnnnnniiiLiLiL

27、iiLiii liLLLlllp xp xp xp xp xH XH A 81普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著1()()()()LlHHH XH ALXX()()()lHXLHXLHA82普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著符号/12log)(2bitXH序列/24log*25.0*4)X(2bitH符号/1)(21)(2bitHHXX83普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著414121)(321xxxxpX求：二次扩展信源的序列求：二次扩展信源的序列熵熵84普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著

28、序列/3)(log)()()(91bitapapXHHiiiL符号/5.1)(log)()(31bitxpxpXHiii符号/5.135.0)(5.0)(2bitXHXH序列/325.1)(2)(2bitXHXH85普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著)|()(),|()()|()()|()()(12221121212121XXHXHXXHXHXXHXHXXHXHXXH)()|(),()|()()()(2121212121XHXXHXHXXHXHXHXXH86普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著)()|()|()|()()()(11112121L

29、LlllLLLXHXXHXXXHXXHXHXXXHHX)(1)(1)X(XHLXHLHLL)()()X(ALHXLHHLllXHH)()(X信源的信源的序列熵序列熵87普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著41943611210aaaPXp(aj|ai)88普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著符号/543.1)(log)()(201bitapapXHiii符号/872.0)|(log)()|(202012bitaapaapXXHiijjij符号/543.1)(log)()(201bitapapXHiii89普通高等教育“十五”国家级规划教材信息论与

30、编码 曹雪虹等编著序列/41.2)/()(),(12121bitXXHXHXXH符号之间存在关联性符号/21.1)(21)(22bitXHHX)()(12XXHHn 比较比较90普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著)()|()|()|()|()|()|(11231222121112121XHXXHXXXHXXXHXXXHXXXHXXXXHLLLLLLLLLL91普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著)|(lim)(lim)(121LLLLLXXXXHXHXH等概率无等概率无记忆信源记忆信源不等概率无记不等概率无记忆信源忆信源92普通高等教育“十五”

31、国家级规划教材信息论与编码 曹雪虹等编著)|()|(lim)(lim)(211121mmLLLLLXXXXHXXXXHXHXH),|(),|(111mLLLLLxxxpxxxpjijijisxpsxpsXH)|(log)|()|()()(|)iiiHXw s H X s93普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著111111111111111,;,11(/,)(/)(,)log(/,)(,)log(/,)(/,)()mmmmmmmmmmmiiiiiiiiiiiii iiiiiiiimmp xxxp xsp xxsp xxxp xxp xxxH XXXH X对于齐次、遍历马氏

32、链左边94普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著11111111111,;,(,)log(/)(,)log(/)()(/)log(/)()(/)()()(/)mmmmmmmmmiiiiiii iiiiiiiiiiiiiiiiiiiip xxsp xsp xsp xsp s p xsp xsp s H X sHp s H X s X右边95普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著59/45,59/9,59/518.05.09.02.05.01.0321321332123121WWWWWWWWWWWWWWWpijjiiWWs2s31/0.61/0.20/0

33、.5s11/0.51/0.10/0.98.02.005.005.09.001.0)|(ijssp0/0.896普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著符号符号符号/722.0)8.0,2.0(8.0log8.02.0log2.0)|(/1)5.0,5.0(5.0log5.05.0log5.0)|(/469.0)9.0,1.0(9.0log9.01.0log1.0)|(321bitHsXHbitHsXHbitHsXH()(|)59450.46910.7220.743/595959iiiHw s H X sbit 符号97普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等

34、编著(1)11,()/,(1),()()()()()log()()log()()lim()()log()limlog()ia i xiXXiaixnnniiXiXiiibbnXiXiXiaannxa bxban xaix ai xp xpx dxpxxHXp xp xpxxpxxH XHXpxpx dxxpx dx 令利用中值定理可得()log()limlogbXiXianpxpx dxx98普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著n2.4.1 幅度连续的单个符号信源熵幅度连续的单个符号信源熵 定义连续信源熵为：定义连续信源熵为：此信源熵严格意义上应该称为此信源熵严格意义上

35、应该称为相对熵或差熵相对熵或差熵；幅度连续的单符号信源熵的特点幅度连续的单符号信源熵的特点：（1）连续信源的不确定度应为无穷大；）连续信源的不确定度应为无穷大；（2）不具有非负性。）不具有非负性。()()log()cXXHXpxpx dx 99普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,()()log()(,)(,)log(,)(/)(,)log(/)(,)()(/)(;)(;)()(/)()()(,)()(/)cXXcX YX YcX YYccccccccccHXpxpx dxHX Ypx ypx y dxdyH YXpx ypy x dxdyHX YHXH YXI X Y

36、I Y XHXHX YHXH YHX YH YH YX 相对熵联合熵条件熵互信息100普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著n2.4.2 波形信源熵波形信源熵n实际信源的输入和输出都是幅度连续、时间和频实际信源的输入和输出都是幅度连续、时间和频率也连续的波形；根据时域内的采样定理，平稳率也连续的波形；根据时域内的采样定理，平稳随机过程转换成平稳随机序列；那么波形熵也就随机过程转换成平稳随机序列；那么波形熵也就是平稳随机序列熵；是平稳随机序列熵；n定义输入和输出两个随机矢量为：定义输入和输出两个随机矢量为：1212(,)(,)LLXXXXYY YY101普通高等教育“十五”

37、国家级规划教材信息论与编码 曹雪虹等编著12,()(,)()log()()()log()()lim()()/()lim(/)ccLXXcX YYccLccLHH X XXppdHppd dLH x tHH y tx tH XYXxx xY/Xx,yy/x x yXY X平稳随机矢量 和相对熵条件熵随机波形信源取102普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著103普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著限峰功率最大熵定理：对于定义域有限的限峰功率最大熵定理：对于定义域有限的 随机变量随机变量X，当它是均匀分布时，具有最大，当它是均匀分布时，具有最大 熵；熵

38、；变量变量X的幅度取值限制在的幅度取值限制在a,b，那么当概率，那么当概率 密度函数满足平均分布条件时，信源达到密度函数满足平均分布条件时，信源达到 最大值。最大值。1()0Xaxbpxba其他104普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著105普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著2222()22()22222222222221()21()()log2()()log exp()log22()()log2log()2loglog221log2log(2)2xmxmcp xeHXp xedxxmp xdxxmp xdxep x dxeee 106普通高等

39、教育“十五”国家级规划教材信息论与编码 曹雪虹等编著n冗余度冗余度(多余度、剩余度多余度、剩余度)表示信源在实际发出消息时所包含的多余表示信源在实际发出消息时所包含的多余信息。信息。n冗余度：冗余度：信源符号间的相关性信源符号间的相关性相关程度越大相关程度越大,信源的实际熵越小信源的实际熵越小信源符号分布的不均匀性信源符号分布的不均匀性n等概率分布时信源熵最大。等概率分布时信源熵最大。)()()()(log2102XHXHXHXHn107普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著()()()11()mmHXHXHXHX 实际在传送消息的时候，只需要极限熵实际在传送消息的时候，

40、只需要极限熵H(X)的的 信息量；而由于无法完全掌握信源的特点，所以信息量；而由于无法完全掌握信源的特点，所以 只能用只能用Hm(X)的信息量去传送；那么在这个过程的信息量去传送；那么在这个过程 中，定义中，定义信息效率和冗余度信息效率和冗余度为：为：108普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著冗余度冗余度71.076.4/)4.176.4(英语文章有71%是由语言结构定好的,只有29%是自由选择信源编码：为了提高传输效率，需要把大量信源冗余进信源编码：为了提高传输效率，需要把大量信源冗余进 行压缩；行压缩；信道编码：考虑通信中的抗干扰问题，需要加上适当特信道编码：考虑通信中的抗干扰问题，需要加上适当特 殊的冗余信息殊的冗余信息109普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著