1、目录l2.2 信源的数学模型和分类信源的数学模型和分类l2.3 离散信源的熵与互信息离散信源的熵与互信息 l2.4 熵的性质熵的性质 l2.5 离散信源序列的熵离散信源序列的熵 l2.6 连续信源的熵与互信息量连续信源的熵与互信息量 l2.7信源相关性与冗余度信源相关性与冗余度2.1背景知识背景知识v信源需要发出的消息数量不是一个，在任何信源需要发出的消息数量不是一个，在任何指定的时刻，信源到底发出哪个消息是不能指定的时刻，信源到底发出哪个消息是不能够事先确定的，即具有随机性；够事先确定的，即具有随机性；v如果信源每次发出的消息是已知的或者事先如果信源每次发出的消息是已知的或者事先确定的，则该
2、消息不能够提供任何信息。由确定的，则该消息不能够提供任何信息。由于符号出现是随机，给观察者提供了一定的于符号出现是随机，给观察者提供了一定的信息。信息。v不能够使用确定函数进行描述，应当使用统不能够使用确定函数进行描述，应当使用统计方法对其规律进行研究。计方法对其规律进行研究。背景知识背景知识 1.概率概率基础基础知识知识1212.()().()()rraaaXp ap ap ap x概率空间rirrapaEX1)(rirrrirrXEapaapEXaDX12212)()()(是随机变量围绕均值分布离散程是随机变量围绕均值分布离散程度的测度，或者说是随机变量混度的测度，或者说是随机变量混乱程度
3、的一种测度。乱程度的一种测度。(,)()()Cov X YE XEX YEY(,)()()XYCov X YEXEX YEYDXDYDXDY协方差协方差互相关互相关反应变量相关程度的指标反应变量相关程度的指标统统计计量量联合概率矩阵表联合概率矩阵表示形式示形式样本空间算术平均代替统计算术平均代替统计 平均平均Lxxx,.,21LllxLX112211()1LllSxXL样本样本方差方差EXEX未知未知22111()LllSxEXLEXEX已知已知大数定理大数定理1XEXP1SDXP)()()(YPXPXYP相互独立相互独立)|()(XYPYP)()()()()()()()()(21222121
4、2111srrrssXYbapbapbapbapbapbapbapbapbapPsjjiibapap1)()(rijijbapbp1)()(1121112222|12(|)(|)(|)(|)(|)(|)(|)(|)(|)ssY Xrrsrp bap bap bap bap bap baPp bap bap aa条件转移条件转移概率矩阵概率矩阵riabpsjij,.,2,11)|(1完备性完备性riijirijijabpapbapbp11)|()()()(riijiijijjijiabpapabpapbpbapbap1)|()()|()()()()|(贝叶斯贝叶斯公式公式2平稳随机过程平稳随机过
5、程随机过程随机过程12(),(),.,()nX tX tX t12(),(),.,()nX tX tX t具有相同联合概率具有相同联合概率分布分布12,.,nt ttT注意参数注意参数1n 任意整数任意实数严格平稳条件过于严格宽（弱、广义）随机过程宽（弱、广义）随机过程()E X t与时间与时间t t无关无关如果如果(,)()XXR s tR t s仅与时间间隔（仅与时间间隔（t-s）有关）有关mLiimLimiixxxm121)(自相关自相关12211()LmiimiXYLmLmiimiix ymxy互相关互相关1 1由样本直接得到由样本直接得到2 2算术平均形式算术平均形式反映数据关联程度
6、反映数据关联程度2.2 信源的数学模型和分类信源的数学模型和分类 产生消息的信源符号在产生消息的信源符号在幅度和时间幅度和时间上都是上都是离散的离散的(与与信号与系统中的概念不同信号与系统中的概念不同)，即符号数量是，即符号数量是可数的或可数的或者是有限的者是有限的，这样的信源是离散信源。，这样的信源是离散信源。骰子只有骰子只有1，2，3，4，5，6共共6种点数，种点数，将掷一个骰子得到的点数看作是信源取值，那么这将掷一个骰子得到的点数看作是信源取值，那么这种信源就是离散信源种信源就是离散信源 幅度和幅度和时间时间离散信源离散信源 连续信源连续信源幅度和时间上都是离散的幅度和时间上都是离散的时
7、间上或者在幅度上是连续的时间上或者在幅度上是连续的如果信源的符号在如果信源的符号在时间时间上或者在上或者在幅度幅度上是连续的，上是连续的，这类信源就是这类信源就是连续信源连续信源。如表示声音变化的电信号，。如表示声音变化的电信号，不仅在时间上是连续取值，而且在幅度也是连续变不仅在时间上是连续取值，而且在幅度也是连续变化的，这样的信源就是连续信源。化的，这样的信源就是连续信源。可以对信号进行取样，将之转换为时间上离散的信可以对信号进行取样，将之转换为时间上离散的信号序列，但是由于该信号序列的号序列，但是由于该信号序列的幅度取值是连续的幅度取值是连续的，所以这样的信源仍然是所以这样的信源仍然是连续
8、信源连续信源；如果对序列进行如果对序列进行量化编码量化编码，就得到数字信号序列，就得到数字信号序列，时间和幅度都是离散的信号，这样的信源就是离散时间和幅度都是离散的信号，这样的信源就是离散信源。信源。取样、量化会造成信息损失，将在后面章节取样、量化会造成信息损失，将在后面章节中进行分析、讨论。中进行分析、讨论。模拟信号模拟信号取样取样离散信号离散信号量化编码量化编码数字信号数字信号信号信号信息论信息论连续连续信源信源连续连续信源信源离散离散信源信源消息消息符号符号之间之间是否是否关联关联有记忆信源有记忆信源无记忆信源无记忆信源符号序列或者矢量符号序列或者矢量描述描述方式方式单个符号单个符号也可
9、以使用符号序列也可以使用符号序列2.1.1信源输出的消息由随机变量描述信源输出的消息由随机变量描述 v离散无记忆信源离散无记忆信源可以用一个概率空间完全描述出来，可以用一个概率空间完全描述出来，即各个符号出现的概率一定，那么信源就确定了；即各个符号出现的概率一定，那么信源就确定了；v信源一定，那么各个符号出现的信源一定，那么各个符号出现的概率概率就确定了，所就确定了，所以以信源的消息符号及其概率分布信源的消息符号及其概率分布完整地描述了信源完整地描述了信源的特性。的特性。v定义定义2.1 如果信源输出的消息数量是如果信源输出的消息数量是有限或有限或者可数的者可数的，而且每次只输出符号集中的一个
10、，而且每次只输出符号集中的一个消息，这样的信源称为消息，这样的信源称为简单简单离散信源。离散信源。1212.()().()()rraaaXp ap ap ap x且满足且满足 1()1riip a简单离散信源而言，概率空间描述了信源的统计特性简单离散信源而言，概率空间描述了信源的统计特性 v投掷骰子问题 123456111111()666666aaaaaaXp x定义定义2.2 如果信源的输出是单个符号消息，但是消如果信源的输出是单个符号消息，但是消息的数量是息的数量是不可数的不可数的，即输出消息的取值是连续，即输出消息的取值是连续的，这样的信源称为简单的的，这样的信源称为简单的连续信源连续信
11、源。如使用如使用模拟器件模拟器件万用表、示波器观测的电压、电万用表、示波器观测的电压、电流信号都是连续数据，其取值幅度都是连续的。流信号都是连续数据，其取值幅度都是连续的。6,5,4,3,2,1,1)(61iiiaapvR表示实数(,)()()Xa bp xp x()()XRp xp x取值范围取值范围badxxp1)(R1)(dxxp2.1.2 信源输出的消息由随机矢量描信源输出的消息由随机矢量描述述 信号很多情况下信号很多情况下信源输出的消息符号之间具有一定的相关性；信源输出的消息符号之间具有一定的相关性；简单信源模型不能够描述；简单信源模型不能够描述；或者或者消息是由一系列符号组成的消息
12、是由一系列符号组成的简单信源模型也不能够描述这种由符号简单信源模型也不能够描述这种由符号矢量构成的消息。矢量构成的消息。v比如有一个布袋，内放比如有一个布袋，内放100个球，其中白球个球，其中白球80个，个，黑球黑球20个，如果除了颜色不同之外，其它方面如手个，如果除了颜色不同之外，其它方面如手感、大小等都相同。现在从布袋中随机摸取一个球，感、大小等都相同。现在从布袋中随机摸取一个球，观察球的颜色，摸到的球要么是白色，要么是黑色。观察球的颜色，摸到的球要么是白色，要么是黑色。v如果将这样一个实验视为一个信源，这样的信源可如果将这样一个实验视为一个信源，这样的信源可以使用简单的离散信源加以描述，
13、即以使用简单的离散信源加以描述，即12()0.80.2Xaap x一维形式一维形式v改变实验方法，进行两次取球实验，改变实验方法，进行两次取球实验，v首先取出一个球，记录球的颜色，首先取出一个球，记录球的颜色，v取出的球不放回去，然后再取一个球，记录球的颜取出的球不放回去，然后再取一个球，记录球的颜色。色。v现在考察取出的两个球的颜色，只有现在考察取出的两个球的颜色，只有4种可能：白种可能：白色白色、白色黑色、黑色白色、黑色黑色色白色、白色黑色、黑色白色、黑色黑色 。va1，a2分别表示白色球和黑色球分别表示白色球和黑色球 211122122(,)(,)(,)(,)80 7980 2020 8
14、020 19()100 99100 99100 99100 99a aa aa aa aXp x二维适量二维适量v定义定义2.3 如果离散信源输出的消息是由如果离散信源输出的消息是由一系列符一系列符号号组成的，这样的信源称为组成的，这样的信源称为多维离散信源多维离散信源。使用使用N N维随机矢量描述，维随机矢量描述，N N维随机矢量也称为维随机矢量也称为N N维随维随 机序列。机序列。一般说来，随机序列的统计特性比较复杂，一般说来，随机序列的统计特性比较复杂，分析起来比较困难。分析起来比较困难。如果信源输出的随机序列的统计特性与时间的推移如果信源输出的随机序列的统计特性与时间的推移 无关，那么
15、该序列是平稳的。无关，那么该序列是平稳的。平稳随机序列分析相对简单，在实际中，为了分析问平稳随机序列分析相对简单，在实际中，为了分析问 题方便起见，假设分析的序列是平稳的。题方便起见，假设分析的序列是平稳的。11121112(,.,)(,.,).(,.,)(,.,)(,.,).(,.,)()NrrNrraaaaaaXp aap aap aap xv如果信源输出的随机序列中，如果信源输出的随机序列中，每个随机变量都是离散的；每个随机变量都是离散的；随机矢量的各维概率分布都与时间无关，即任何时刻随随机矢量的各维概率分布都与时间无关，即任何时刻随机矢量的各维概率分布相同，机矢量的各维概率分布相同，那
16、么这样的信源称为离散平稳信源；那么这样的信源称为离散平稳信源；u用用N维概率空间描述。维概率空间描述。11121112(,.,)(,.,).(,.,)(,.,)(,.,).(,.,)()NrrNrraaaaaaXp aap aap aap x1离散无记忆信源离散无记忆信源 vN维联合概率分布表示为维联合概率分布表示为 11()()()iNNNikiiP Xp Xp a特点特点消息的符号之间彼此相互独立消息的符号之间彼此相互独立服从同一分布服从同一分布独立同一分布独立同一分布不仅具有相同分布类型分布类型，而且参数也相同参数也相同e.Ge.G都是正态分布，且均都是正态分布，且均值、方差相等值、方差
17、相等此时此时v例如例如：取球方式取球方式，每次从袋中取出一个球，只记录每次从袋中取出一个球，只记录球的颜色（用变量球的颜色（用变量x1表示），将球放回袋中，然后表示），将球放回袋中，然后再次取出一球，记录球的颜色（用变量表示再次取出一球，记录球的颜色（用变量表示x2），），如果将这样两次取球实验视为信源输出符号，显然如果将这样两次取球实验视为信源输出符号，显然信源输出消息构成二维随机序列，而构成消息的两信源输出消息构成二维随机序列，而构成消息的两个随机变量相互独立，所以可以用随机变量的乘积个随机变量相互独立，所以可以用随机变量的乘积加以描述。加以描述。1 212()()()p x xp x p
18、 x比如比如12xa21xa2 121()()()0.2 0.80.16p a ap a p aK：编码器输入二进制数据长度编码器输入二进制数据长度N：输出二进制数据长度输出二进制数据长度。由于输送到信道编码器的数据是先经过信源编码由于输送到信道编码器的数据是先经过信源编码器编码，所以相关性很弱器编码，所以相关性很弱；分组编码器将这些比特流数据划分为长度为分组编码器将这些比特流数据划分为长度为k的的一个个码组，并对每个码组进行信道编码一个个码组，并对每个码组进行信道编码；比特数据取值只有比特数据取值只有0，1两种符号，服从独立两种符号，服从独立同一分布同一分布。(n,k)分组码分组码线性分组码
19、线性分组码:无记忆信源无记忆信源通常情况下，信源在不同时刻发出的符号之通常情况下，信源在不同时刻发出的符号之间是相互关联的。间是相互关联的。如前文所述的布袋取球实验中，如前文所述的布袋取球实验中，u先取一球不放回，然后再取一球，第二个球的颜先取一球不放回，然后再取一球，第二个球的颜色概率分布与第一个球的颜色有关。；色概率分布与第一个球的颜色有关。；u如果摸出第一球为白色，则摸取第二个球颜色的如果摸出第一球为白色，则摸取第二个球颜色的概率为概率为 1121(|)79/99,(|)20/99p a ap aau若第一个球为黑色，则取第二个球颜色的概率若第一个球为黑色，则取第二个球颜色的概率 122
20、2(|)80/99,(|)19/99p aap aa组成消息的两个球的颜色之间存在关联，这种信组成消息的两个球的颜色之间存在关联，这种信源是有记忆的源是有记忆的 v离散有记忆信源用N维联合概率分布加以描述 12121121(,.)(|,.,)(,.)NNNNp x xxp xx xxp x xx1211122122(|,.)(|,.,)(,.,).NNNNNp xx xxp xx xxp x xx特点特点1 1表述的复杂程度将随序列长度表述的复杂程度将随序列长度N N的增加而增加的增加而增加 ；2 2符号之间的相关性随着符号间隔的增加而减弱符号之间的相关性随着符号间隔的增加而减弱；处理处理方法
21、方法1 1 根据实际研究的需要限制随机序列的长度根据实际研究的需要限制随机序列的长度2 2 需要考虑系统复杂程度来建立更为简单的模型需要考虑系统复杂程度来建立更为简单的模型，以达到相应的研究目的。，以达到相应的研究目的。v当记忆长度为m+1时，即信源每次发出符号只与前m个符号相关，与更前面的符号无关，称这种信源为m阶马尔可夫信源。1212(|,.,.)(|,.)iiii miiii mp x xxxp x xxx如果条件概率与时间起点无关，这样的信源称如果条件概率与时间起点无关，这样的信源称为齐次马尔可夫信源为齐次马尔可夫信源。12121(|,.,.)(|,.)iiii mmmmpx x xx
22、pxx xx定义定义2.4 如果连续信源输出消息时由一系列符如果连续信源输出消息时由一系列符号组成，这样的信源称为号组成，这样的信源称为多维连续信源多维连续信源，也可，也可以用以用N维随机矢量来描述。维随机矢量来描述。2.2 离散信源的熵与互信息离散信源的熵与互信息 信源的随机性信源的随机性1.1.某时刻输出符号是随机的某时刻输出符号是随机的，接收者事先不能确定，接收者事先不能确定2.2.收到信息后可以消除或者减小这种不确定性收到信息后可以消除或者减小这种不确定性噪声，干扰存在，噪声，干扰存在，不能完全消除不能完全消除信源的概率分信源的概率分布是确定的布是确定的前文已知：信源前文已知：信源可以
23、用概率分布可以用概率分布来描述来描述信息量大小应该信息量大小应该与概率有关与概率有关2.2.1 非平均信息量非平均信息量 v给定信源给定信源X，对应的概率空间为，对应的概率空间为 1212.()().()()rraaaXp ap ap ap x1.1.给定时刻，信源到底会发出什么符号，接收者事先不能确定给定时刻，信源到底会发出什么符号，接收者事先不能确定;2.2.符号出现的概率不同，它的不确定性也不同符号出现的概率不同，它的不确定性也不同;3.3.信息量定义应该遵循日常生活准则信息量定义应该遵循日常生活准则基本规则基本规则(1)确定性事件，即确定性事件，即P=1时，信息量应当为时，信息量应当为
24、0；(2)事件出现的概率事件出现的概率越小越小，信息量应当，信息量应当越大越大；反之亦反之亦 然；然；(3)自信息量为自信息量为非负的非负的(4)两个相互独立事件联合自信息量应等于它们两个相互独立事件联合自信息量应等于它们各自两个信息量各自两个信息量之之和和按照上述准则，在函数空间寻找满足要求的函数来按照上述准则，在函数空间寻找满足要求的函数来定义信息量定义信息量v定义定义2.5 给定信源的概率空间给定信源的概率空间 1212.()().()()rraaaXp ap ap ap x事件事件iaX的的自信息量自信息量定义为：定义为：1()log()log()iiiI ap ap a 取底为取底为
25、2，单位为比特，单位为比特;取自然对数，单位为奈特取自然对数，单位为奈特（nat）；以）；以10为底，则单位为笛特（为底，则单位为笛特（det）。）。1nat=e=1.433lb1det=10=3.322lbbitbit对数的底大于1v例例2.1 某二元信源发出符号0，1的概率分别为,p(0)=1/4,p(1)=3/4,求I(0),I(1)。v解：解：根据定义知：1(0)(0)24IlbPlb 3(1)(1)0.14564IlbPlb 比特比特比特比特分析：分析：符号符号1出现概率大，它的出现给观察者提供的信出现概率大，它的出现给观察者提供的信息量就小。息量就小。符号符号0出现的概率较小，因此
26、一旦出现，给观察出现的概率较小，因此一旦出现，给观察者提供信息量大；者提供信息量大；如果二进制信源的消息如果二进制信源的消息0、1以等概率出现，以等概率出现，则则(0)(1)21IIlbbit也就是说不管是也就是说不管是0还是还是1的出现，接收者得到的出现，接收者得到的信息量均为的信息量均为1比特，即这样信源输出用比特，即这样信源输出用1比比特表示就可以了。特表示就可以了。如果信源输出的如果信源输出的m位二进制数，该数可以用位二进制数，该数可以用m位位0或者或者1组合表示，共有个等概率可能组合表示，共有个等概率可能2m组合，所以每个符号的自信息量相等，都为组合，所以每个符号的自信息量相等，都为
27、m比特。比特。不确定性讨论不确定性讨论(1)自信息量是该符号自信息量是该符号出现出现后，提供给接收者的信息量后，提供给接收者的信息量(2)表示信源符号的先验不确定性表示信源符号的先验不确定性每个符号具有一个先验概率，在信源符号发出之前，每个符号具有一个先验概率，在信源符号发出之前，存在不确定性存在不确定性一个出现概率很小的符号，接收者事先很难猜一个出现概率很小的符号，接收者事先很难猜测它是否会发生，而概率很大的符号，出现的测它是否会发生，而概率很大的符号，出现的可能性大，很容易猜测它的出现。可能性大，很容易猜测它的出现。(3)符号的不确定性在数量上等于它的自信息量符号的不确定性在数量上等于它的
28、自信息量但两者含义不一样但两者含义不一样先验不确定性先验不确定性 信源符号固有的信源符号固有的自信息量自信息量 信源发出后该符号为接收者提供的信息信源发出后该符号为接收者提供的信息量，是为了消除该符号不确定性，接收信量，是为了消除该符号不确定性，接收信息者需要获得的信息量息者需要获得的信息量v定义定义2.6 对于给定两个信源对于给定两个信源X、Y，对应概率，对应概率空间分别为空间分别为 1212.()().()()rraaaXp ap ap ap x1212.()().()()ssbbbYp bp bp bp y事件事件bjY的出现给出的关于事件的出现给出的关于事件ai X的信息量为的信息量为
29、(|)(;)log()ijijip a bI a bp a同样定义为事件同样定义为事件ai X的出现给出的关于事件的出现给出的关于事件bjY的信息量的信息量(|)(;)log()jijijp baI b ap b事件关联性讨论事件关联性讨论在概率论中，反映两个事件关联程度，在概率论中，反映两个事件关联程度，使用条件概使用条件概率率或者或者联合概率联合概率条件（联合）概率越大，说明两者之间的依赖条件（联合）概率越大，说明两者之间的依赖性（关联性）越强性（关联性）越强使用条件概率和无条件概率的使用条件概率和无条件概率的比较，更能说明依赖比较，更能说明依赖关系关系比如观察到比如观察到事件事件bjY，
30、想知道，想知道事件事件ai事事对对bj的依赖关系，可以观察的依赖关系，可以观察 与与 大小大小(|)ijp a b()ip a(|)()ijip a bp a事件事件bj bj出现有利于出现有利于ai ai，两者关联性是，两者关联性是相容的相容的反之反之，两者之间是，两者之间是相斥相斥的的(|)1()ijip a bp a换种说法换种说法事件事件bj出现出现有利于有利于事件事件ai的的出现出现(|)1()ijip a bp a事件事件bj出现出现不不利于利于事件事件ai的的出现出现(|)1()ijip a bp a事件事件bj与与事件事件ai之间之间没有关系没有关系相容相容相斥相斥不相关不相关
31、信息论中，对两个事件概率的比值取对数，而对数信息论中，对两个事件概率的比值取对数，而对数运算是单值的；运算是单值的；所以互信息定义只不过就是将上述描述事件关联程所以互信息定义只不过就是将上述描述事件关联程度的测度，做了一个简单函数变换；本质上没有区度的测度，做了一个简单函数变换；本质上没有区别。别。这里是讨论的事件之间的关联性；而不是随机变量的关联性（不是总体特性，后面讨论）注意：注意：v可以证明(;)(;)jiijI baI abv证明证明:根据定义(|)(;)log()ijijip abI a bp a分子、分母同时乘以概率 p(bj)(|)()(,)(;)loglog()()()()ij
32、jijijijijp a b p bp a bI a bp a p bp a p b(,)1log()()ijijp a bp ap b(|)log(;)()jijijp baI b ap bv由证明过程可知(,)(;)log()()ijijijp a bI a bp ap bv事件与事件之间的互信息量之所以存在，是因为两者之间存在相关，如果两者相互独立，则I(ai;bj)=0.如果事件如果事件ai的出现不利于事件的出现不利于事件bj的出现，那么的出现，那么I(ai;bj)0；互信息量的意义互信息量的意义表示了事件之间的关联性，它可正可负表示了事件之间的关联性，它可正可负;例2.2变量X的概率
33、空间为1201()0.50.5Xaap x变量Y取自符号集12=0,=1bb8.02.01.09.0)|()|()|()|(22211211|abpabpabpabpXYP P11122122(;),(;),(;),(;)I a b I a bI a b I a b求解解(|)(;)log()jiijjp baI a bp b2111()(|)()(0.9 0.2)0.5 0.55iiip bp b a p a2221()(|)()(0.1 0.8)0.5 0.9 0.5 0.45iiipbpb a pa11111(|)0.9(;)0.71()0.55p b aI a blblbp b比特21
34、122(|)0.1(;)2.17()0.45p b aI a blblbp b12211(|)0.2(;)1.46()0.55pb aI a blblbpb22222(|)0.8(;)0.83()0.45pb aI a blblbpb比特比特比特讨论讨论11(;)0I a b 事件事件b1出现有利于出现有利于a1事件事件b1出现有利于出现有利于a221(;)0I a b a1,a2a1,a2是相互对立是相互对立的，有利于的，有利于a1a1，必然不利于必然不利于a2a2由于由于X，Y都只有两个取值，都是相互对立的，所以都只有两个取值，都是相互对立的，所以有下列关系有下列关系11(;)0I a b
35、 21(;)0I a b12(;)0I a b22(;)0I a b(;)(;)jiijI b aI a bv定义定义2.7 给定联合概率空间 11121112.(,)(,).(,)(,)rsrsa ba ba bXYp abp abp abp x yv对于事件对于事件ai在事件给定条件在事件给定条件bj下的下的条件自信息量条件自信息量定定义为义为(|)log(|)ijijI a bp a b 条件信息量条件信息量I(ai|bj)是在事件是在事件bj给定条件下给定条件下,关于事件关于事件ai的不确的不确定性定性;I(ai|bj)较大时，则给出的关于事件较大时，则给出的关于事件ai出现保留较大的
36、不确定出现保留较大的不确定性，反之就小。性，反之就小。物理意义物理意义给定给定bj条件情况下，为了唯一确定条件情况下，为了唯一确定ai的出现所必须的出现所必须提供的信息量。提供的信息量。另外一种解释另外一种解释设设ai为信源发出的符号，为信源发出的符号，bj为接收的符号，如果为接收的符号，如果I(ai|bj)较大，较大，p(ai|bj)越小越小.从译码角度而言，从译码角度而言，p(ai|bj)越小，在接收为条件越小，在接收为条件bj下，下，信源发出的符号为信源发出的符号为ai的可能性越小，所以关于事件的可能性越小，所以关于事件ai保留保留的不确定性越大；反之，信源符号剩下的不确定性变小。的不确
37、定性越大；反之，信源符号剩下的不确定性变小。直观的解释直观的解释v证明：证明：(|)(,)log()ijijip a bI a bp alog(|)log()ijipa bpa(|)()ijiI abI a()(;)(|)iijijI aI a bI a b()(;)(|)iijijI aI a bI a b相互关系相互关系v例例2.3 对于例例2.2给定的概率空间，分别求出 I(ai),I(ai|bj),并且验证 I(ai)=I(ai;bj)+I(ai|bj)v解：解：例2.2中已求出 1()0.55p b 2()0.45p b 根据(|)()(|)()jiiijjp b a p ap a
38、bp b有 111111(|)()0.9 0.5(|)0.8182()0.55p b a p ap a bp b211122(|)()0.1 0.5(|)0.111()0.45p b a p ap a bp b122211(|)()0.2 0.5(|)0.118()0.55p b ap ap abp b222222(|)()0.8 0.5(|)0.889()0.45p bap ap abp bv于是有于是有 1111(|)(|)0.81820.29I a blbp a blb1212(|)(|)0.1113.17I a blbp a blb 2121(|)(|)0.18182.46I a bl
39、bp a blb2222(|)(|)0.8890.17I a blbp a blb比特 比特 比特 比特 而 12()()0.5 1I aI alb比特 由例例2.2可知11(;)0.71I a b 12(;)2.17I a b 比特 比特 21(;)1.46I a b 22(;)0.83I a b 比特 比特 很容易验证很容易验证：11212()(|)(;)I aI a bI a b1111(|)(;)I a bI a b22222()(|)(;)I aI a bI a b2121(|)(;)I a bI a b例例2.4 设有两个离散信源集合1201()0.60.4Xaapx 112112
40、22(|)(|)(|)(|)p b ap b ap b ap b a|Y XP0.8 0.20.2 0.8()iI a(|)ijI a b(;)ijI a b1.自信息量2.条件自息量3.互信息量。解解111()()0.6 0.737I albpalb22()()0.4 1.32I albpalb2根据概率论知识，先求2111111221()(|)()(|)()(|)|()iiipbpb a papb a papb apa0.8 0.6 0.2 0.4 0.562222112221()(|)()(|)()(|)|()iiip bp b a p ap b a p ap b ap b0.2 0.6
41、 0.8 0.4 0.4411()()1pbpb注意注意111111(|)()0.8 0.6(|)0.857()0.56p ba p ap abp b211122(|)()0.2 0.6(|)0.273()0.44p ba p ap abp b122211(|)()0.20.4(|)0.143()0.56p bap ap abp b222222(|)()0.80.4(|)0.727()0.44p bap ap abp b完备性完备性完备性完备性1111(|)(|)0.857 0.223I a blbp a blb1212(|)(|)0.273 1.873I a blbp a blb2121(|
42、)(|)0.1432.81I a blbp a blb2222(|)(|)0.727 0.46I a blbp a blb比特比特比特比特(;)()(|)ijiijI a bI aI a b由有11111(;)()(|)I a bI aI a b0.7370.2230.514 比特12112(;)()(|)0.737 1.8371.136I a bI aI a b21221(;)()(|)1.32 2.811.49I a bI aI a b22222(;)()(|)1.32 0.46 0.86I a bI aI a b比特比特比特v定义定义2.8 给定联合概率空间 1 11 21112.(,)
43、(,).(,)(,)rsrsa ba ba bXYp a bp a bp a bp x y对于事件ai与事件bj的联合自信息量定义为(,)log(,)ijijI a bp a b v联合自信息量表示事件联合自信息量表示事件ai与事件与事件bj同时出现同时出现的先验的先验不确定性。不确定性。v如果如果X，Y表示信源输出的两个符号，那么联合自信表示信源输出的两个符号，那么联合自信息量表示信源符号输出符号对息量表示信源符号输出符号对ai,bj提供信息量。提供信息量。2.2.2平均信息量平均信息量 v自信息量自信息量反映了信源反映了信源单个符号单个符号的先验的先验不确定性不确定性，或者信源，或者信源输
44、出某一消息所包含的信息量，即信源单个消息符号信息输出某一消息所包含的信息量，即信源单个消息符号信息量的大小量的大小;v信源输出的消息不同，各个消息符号对应的概率不同，所信源输出的消息不同，各个消息符号对应的概率不同，所包含的信息量也就不同，所以它反映的只是包含的信息量也就不同，所以它反映的只是具体输出消息具体输出消息符号的特性，不能够反映信源的总体特性，不能够作为信符号的特性，不能够反映信源的总体特性，不能够作为信源的信息度量，只是源的信息度量，只是单个符号的信息度量单个符号的信息度量。v下面讨论信源的下面讨论信源的总体不确定性总体不确定性，或者每输出一个消息符号，或者每输出一个消息符号所能够
45、提供的信息量平均值，即平均信息量，也称为熵。所能够提供的信息量平均值，即平均信息量，也称为熵。信息熵（信息熵（Entropy）v定义定义2.9 定义自信息量的数学期望为信源的平均自定义自信息量的数学期望为信源的平均自信息量，也称为熵。信息量，也称为熵。1()()()log()riiiiH XE I ap ap a vH(X)表示随机变量表示随机变量X的熵，不是的熵，不是随机变量随机变量X的函数的函数。v熵的概念是来源于热力学概念，在热力学中，变量熵的概念是来源于热力学概念，在热力学中，变量X表示系统所有的可能状态，表示系统所有的可能状态，p(ai)表示某一状态的表示某一状态的概率，描述了系统的
46、概率，描述了系统的“无规律无规律”程度，即在给定时程度，即在给定时刻系统可能出现的有关状态的刻系统可能出现的有关状态的“不确定性不确定性”程度。程度。信息论中信息论中H(X)表示信源的先验平均不确定性表示信源的先验平均不确定性消息符号输出之前，表示确定信源消息符号输出之前，表示确定信源X X所需所需要的平均信息量要的平均信息量发出消息符号后，每个输出消息符号所给发出消息符号后，每个输出消息符号所给出的信息量平均值出的信息量平均值单位单位与自信息量一样，信息熵的单位取决于所选取与自信息量一样，信息熵的单位取决于所选取的底的底对数的底取对数的底取2 2，此时相应的单位为比特，此时相应的单位为比特/
47、符号符号含义含义信源的熵反映的是信源的总体特性信源的熵反映的是信源的总体特性1 1信源的信源的统计特性不同统计特性不同，信息熵也不同，信息熵也不同2 2给定信源，信息熵就确定了给定信源，信息熵就确定了3信源符号不同，但是具有相同的统计特性，那么信息熵也是相同的即即，信源熵的值与符号形式没有关系，信源熵的值与符号形式没有关系，只是取决于信源的总体统计规律，而且只是取决于信源的总体统计规律，而且与符号的排列顺序也没有关系。与符号的排列顺序也没有关系。进一步讨论进一步讨论在概率论中，同样有表述数据紊乱程度的参数，就是方差熵与符号取值无关两种区别方差与符号取值有关更加抽象具体一些，且反映具体一些，且反
48、映随机数据形象，有随机数据形象，有效效v例例2.5 某二元信源的概率空间为v求信源的熵。12()1Xaap xppv解：解：根据定义1()()log()log(1)log(1)riiiH Xp ap appppv信源的熵是概率的函数，为了方便起见，记作，其变化规律如图所示。v极值问题：()log(1)log(1)1log(1)loglogdH pdppppdpdppppp()0dH pdp0.5p 22()1log0(1)d H pedppp 当当p=0.5时时,H(p)取得极大值取得极大值 当当p0.5时，即两个符号出现概率相等时，对应时，即两个符号出现概率相等时，对应的熵最大，的熵最大，H
49、(x)=1比特比特/符号；由于符号；由于p0.5时，两时，两个符号输出的概率相等，信源没有输出之前，很个符号输出的概率相等，信源没有输出之前，很难猜测哪个消息会出现；难猜测哪个消息会出现；当当pp(a2)，变量随机性，变量随机性减少减少;只有当两个概率相等时，随机只有当两个概率相等时，随机性最大性最大信源编码的解释v但在实际中，由于信源符号（数据）之间存在依赖性，并不但在实际中，由于信源符号（数据）之间存在依赖性，并不是统计独立的，所以实际输出码率有可能小于熵。这是因为是统计独立的，所以实际输出码率有可能小于熵。这是因为在信息熵定义中，已经假设了信源符号之间相互独立，当这在信息熵定义中，已经假
50、设了信源符号之间相互独立，当这种假设不符合实际情况时，结论自然不成立。种假设不符合实际情况时，结论自然不成立。信源符号之间相互统计独立信源符号之间相互统计独立信源熵就是对该信源进行无损压缩，输信源熵就是对该信源进行无损压缩，输出码率最小值出码率最小值无论采用何种方法进行无损数据压缩无论采用何种方法进行无损数据压缩，平均长度总是不小于熵，平均长度总是不小于熵信道编码的解释v对于信道传输而言，信源熵只是反映了信源对于信道传输而言，信源熵只是反映了信源平均先验不确定性，一般情况下，并不等于平均先验不确定性，一般情况下，并不等于信宿获得的平均信息量，只有在理想信道，信宿获得的平均信息量，只有在理想信道
