大学精品课件：第三讲 信息的定量描述.ppt

1、电气与信息工程学院电气与信息工程学院第第3 3讲讲 信息的定量描述信息的定量描述2电气与信息工程学院电气与信息工程学院信息的定量描述信息的定量描述信息科学导论信息科学导论这里关心的概率信息是特指状态性质为离散、状态数目为有限、这里关心的概率信息是特指状态性质为离散、状态数目为有限、状态划分为明晰、状态变化方式服从概率规律的信息。状态划分为明晰、状态变化方式服从概率规律的信息。常用这样的符号体系：常用这样的符号体系：X表示一个试验，表示一个试验，X=（xi|i=1，n）表表示这一试验所有可能状态的集合，示这一试验所有可能状态的集合，P=（pi|i=1，n）表示这些表示这些可能状态出现的概率的集合

2、，（可能状态出现的概率的集合，（X，P）=（xi,pi|i=1，n）称称为这一试验的为这一试验的概率空间概率空间。于是，概率空间就把事物运动的状态及。于是，概率空间就把事物运动的状态及其变化的方式刻画出来了。其变化的方式刻画出来了。它是描述概率信息的基本方法。它是描述概率信息的基本方法。3.1 3.1 语法语法信息的描述信息的描述-概率型语法信息的描述概率型语法信息的描述 2电气与信息工程学院电气与信息工程学院信息的定量描述信息的定量描述信息科学导论信息科学导论假定有一个随机试验假定有一个随机试验X，它有它有n种可能的试验结果（状态），分别种可能的试验结果（状态），分别为为x1，xn。在观察这

3、一试验之前，观察者已经先验地知道这在观察这一试验之前，观察者已经先验地知道这些状态出现的概率分别是些状态出现的概率分别是p1，pn。这些概率称为这些概率称为先验概率先验概率。3.1 3.1 语法语法信息的描述信息的描述-概率型语法信息的描述概率型语法信息的描述 但是，在观察试验的实际结果之后发现，这但是，在观察试验的实际结果之后发现，这n个可能的状态的出个可能的状态的出现概率却变成了现概率却变成了 ,这些概率称为后验概率。于是，就可这些概率称为后验概率。于是，就可以写出观察前后概率空间的变换：以写出观察前后概率空间的变换：*1,.,npp,.,1|,.,1|,*nipxnipxiiii概率空间

4、的变换式的整体就可以用来描述观察者的实得信息。概率空间的变换式的整体就可以用来描述观察者的实得信息。2电气与信息工程学院电气与信息工程学院信息的定量描述信息的定量描述信息科学导论信息科学导论在大多数实际的试验场合，后验概率分布（在大多数实际的试验场合，后验概率分布（pi|i=1,，n）是一个是一个0-1型分布，即型分布，即若用一个专门的符号若用一个专门的符号 来表示这种来表示这种0-1型的后验分布，则概率空型的后验分布，则概率空间的变换式可以写为间的变换式可以写为 (X,P)(X,)00*,0,1iiiipi*sp3.1 3.1 语法语法信息的描述信息的描述-概率型语法信息的描述概率型语法信息

5、的描述 *sp2电气与信息工程学院电气与信息工程学院信息的定量描述信息的定量描述信息科学导论信息科学导论当观察者对于当观察者对于X的出现概率没有任何先验知识的时候，就只能假的出现概率没有任何先验知识的时候，就只能假定这定这n个状态出现的概率都相等，即；个状态出现的概率都相等，即；p=1/n，i=l，n。若用若用符号符号P0来表示这种来表示这种均匀型的均匀型的先验概率分布，则上式又可以变为先验概率分布，则上式又可以变为 (X,P0)(X,)3.1 3.1 语法语法信息的描述信息的描述-概率型语法信息的描述概率型语法信息的描述 *sp上式表示：在观察试验之前，观察者对试验结果一无所知；观察上式表示

6、：在观察试验之前，观察者对试验结果一无所知；观察之后，结果唯一确定。这时观察者获得了最大的实得信息量。反之后，结果唯一确定。这时观察者获得了最大的实得信息量。反之，若有之，若有 =P0，则观察者的实得信息量为零。，则观察者的实得信息量为零。*P2电气与信息工程学院电气与信息工程学院信息的定量描述信息的定量描述信息科学导论信息科学导论 偶发信息是由偶发信息是由半随机试验半随机试验提供的。半随机试验的可能状态也是随提供的。半随机试验的可能状态也是随机发生的，只是它们发生的规律不能用概率分布来描述，因为这机发生的，只是它们发生的规律不能用概率分布来描述，因为这类试验是偶尔发生的，而不是大量地重复发生

7、的，不存在统计稳类试验是偶尔发生的，而不是大量地重复发生的，不存在统计稳定性。定性。3.1 3.1 语法语法信息的描述信息的描述-偶发型语法信息的描述偶发型语法信息的描述 假定有某个随机试验假定有某个随机试验X，它有它有N个可能的状态：个可能的状态：X1，XN。作作为试验的结局，一般总有一个状态会实际发生。在观察之前，根为试验的结局，一般总有一个状态会实际发生。在观察之前，根据推断，观察者认为据推断，观察者认为x1发生的可能度为发生的可能度为q1，xn发生的可能度发生的可能度为为qn。显然，与概率的情形类似，应有显然，与概率的情形类似，应有Nnnq112电气与信息工程学院电气与信息工程学院信息

8、的定量描述信息的定量描述信息科学导论信息科学导论但是，实际观察的结果，各种可能状态发生的可能度却但是，实际观察的结果，各种可能状态发生的可能度却是是 ，。其中，某。其中，某 。其余。其余 =0,。q1，qn称为观察者关于称为观察者关于X的先验可能度分布，用符号的先验可能度分布，用符号Q表示，表示，而而 ，称为试验称为试验X的后验可能度分布，用符号的后验可能度分布，用符号Q*表示。表示。*1q*Nq1*nq*nq0nn*1q*Nq3.13.1 语法信息的描述语法信息的描述-偶发型语法信息的描述偶发型语法信息的描述 有时也把可能度叫做主观概率、经验概率、形式概率有时也把可能度叫做主观概率、经验概率

9、、形式概率或主观置信度。或主观置信度。2电气与信息工程学院电气与信息工程学院信息的定量描述信息的定量描述信息科学导论信息科学导论和概率信息类似，定义（和概率信息类似，定义（X，Q）和（和（X，Q*）分别为半随机试验分别为半随机试验的先验可能度空间和后验可能度空间，并且用它们来描述偶发信的先验可能度空间和后验可能度空间，并且用它们来描述偶发信息。例如，观察半随机试验息。例如，观察半随机试验X的过程中所获得的实得信息，可用的过程中所获得的实得信息，可用下式来描述：下式来描述：*QxQx3.1 3.1 语法信息的描述语法信息的描述-偶发型语法信息的描述偶发型语法信息的描述 2电气与信息工程学院电气与

10、信息工程学院信息的定量描述信息的定量描述信息科学导论信息科学导论确定型信息是指由确定试验所提供的信息。而所谓确定型试验，确定型信息是指由确定试验所提供的信息。而所谓确定型试验，是指具有确定的试验机构，但初始条件和环境条件具有动态或时是指具有确定的试验机构，但初始条件和环境条件具有动态或时变性的试验。下图所示的简单变性的试验。下图所示的简单RLC电路，其中电路，其中U（t）是电路的激是电路的激励电源。励电源。3.1 3.1 语法信息的描述语法信息的描述-确定型语法信息的描述确定型语法信息的描述 2电气与信息工程学院电气与信息工程学院信息的定量描述信息的定量描述信息科学导论信息科学导论由电工学的理

11、论知道，这个电路的运动状态及其变化方式（行为）由电工学的理论知道，这个电路的运动状态及其变化方式（行为）可以由一个二阶微分方程来描述可以由一个二阶微分方程来描述.这样，只要给定初始条件，就可以唯一地确定它在未来时刻这样，只要给定初始条件，就可以唯一地确定它在未来时刻t的状的状态和状态变化方式。所以，这是一个确定型的试验系统。态和状态变化方式。所以，这是一个确定型的试验系统。tdiCdttdiLtRitU0)(1)()()(3.1 3.1 语法信息的描述语法信息的描述-确定型语法信息的描述确定型语法信息的描述 2电气与信息工程学院电气与信息工程学院信息的定量描述信息的定量描述信息科学导论信息科学

12、导论如果已知某个系统的各种状态以及状态之间的转移方式，那么也如果已知某个系统的各种状态以及状态之间的转移方式，那么也可以用图论的方法来表示这些状态和状态变化方式（即信息）。可以用图论的方法来表示这些状态和状态变化方式（即信息）。3.1 3.1 语法信息的描述语法信息的描述-确定型语法信息的描述确定型语法信息的描述 A 种子状态；B 植物状态；C 开花状态；D 已授粉的植物状态；E 未授粉的植物状态；F 种子的死亡状态。2电气与信息工程学院电气与信息工程学院信息的定量描述信息的定量描述信息科学导论信息科学导论数据表格、公式曲线等等也可以用来表示确定型信息。如，考虑数据表格、公式曲线等等也可以用来

13、表示确定型信息。如，考虑如下一个确定型决策问题：假设某单位需要购买某种产品如下一个确定型决策问题：假设某单位需要购买某种产品45000个，已知该种产品有四处供应来源，所购买的这些产品要分别送个，已知该种产品有四处供应来源，所购买的这些产品要分别送到三个不同的仓库点，列出各个仓库的容量和各个供应点可以供到三个不同的仓库点，列出各个仓库的容量和各个供应点可以供应的产品数量以及价格、运输费等数据。要求确定具体的采购方应的产品数量以及价格、运输费等数据。要求确定具体的采购方案，使所付出的总费用最少。案，使所付出的总费用最少。3.1 3.1 语法信息的描述语法信息的描述-确定型语法信息的描述确定型语法信

14、息的描述 2电气与信息工程学院电气与信息工程学院信息的定量描述信息的定量描述信息科学导论信息科学导论 库存容量库存容量费用费用一号库一号库10000二号库二号库15000三号库三号库20000供应数量供应数量供应点供应点A8000C11=3.00元元C12=3.00元元C13=4.50元元供应点供应点B12000C21=4.80元元C22=3.20元元C23=5.00元元供应点供应点C11000C31=6.00元元C32=4.00元元C33=5.50元元供应点供应点D14000C41=5.30元元C42=4.10元元C43=6.00元元用表格来表示确定型信息用表格来表示确定型信息3.1 3.1

15、 语法信息的描述语法信息的描述-确定型语法信息的描述确定型语法信息的描述 2电气与信息工程学院电气与信息工程学院信息的定量描述信息的定量描述信息科学导论信息科学导论那么，我们就可以列出下列公式来表示所给出的信息：那么，我们就可以列出下列公式来表示所给出的信息：目标信息为目标信息为 约束信息为约束信息为 jiijijxCC,min413412411;20000;15000;10000iiiiiixxx313132311;11000;12000;8000jjjjjjxxx3143,2,1;4,3,2,1,0;14000jijjjixx3.3 3.3 语法信息的描述语法信息的描述-确定型语法信息的描

16、述确定型语法信息的描述 2电气与信息工程学院电气与信息工程学院信息的定量描述信息的定量描述信息科学导论信息科学导论模糊信息的描述涉及到模糊集合的概念。模糊集合是这样一种集模糊信息的描述涉及到模糊集合的概念。模糊集合是这样一种集合，它的各个元素的隶属度（对集合性质的满足程度）是模糊的。合，它的各个元素的隶属度（对集合性质的满足程度）是模糊的。例如，例如，“远大于远大于1的正实数集的正实数集”就是模糊集，它的元素包括大于就是模糊集，它的元素包括大于1的所有正实数，而这些元素满足性质的所有正实数，而这些元素满足性质“远大于远大于1”的程度是模糊的程度是模糊的：的：“10”以上的正实数的满足程度为以上

17、的正实数的满足程度为1，“5”的满足的程度可的满足的程度可能只有一半左右，而能只有一半左右，而“2”的满足程度却只有零点几。但它们都的满足程度却只有零点几。但它们都“在一定程度上在一定程度上”具有具有“远大于远大于1”这一性质。因此，如果把这这一性质。因此，如果把这个模糊隶属度用图形画出来，就可以得到下图所示的情形。个模糊隶属度用图形画出来，就可以得到下图所示的情形。3.1 3.1 语法信息的描述语法信息的描述-模糊型语法信息的描述模糊型语法信息的描述2电气与信息工程学院电气与信息工程学院信息的定量描述信息的定量描述信息科学导论信息科学导论3.1 3.1 语法信息的描述语法信息的描述-模糊型语

18、法信息的描述模糊型语法信息的描述上图曲线称为模糊集的隶属度分布曲线上图曲线称为模糊集的隶属度分布曲线,它表明：集合论域内各元它表明：集合论域内各元“属于属于”该集合的程度。百分之百地属于该集合的元的隶属度为该集合的程度。百分之百地属于该集合的元的隶属度为1，完全不属于该集合的元的隶属度为，完全不属于该集合的元的隶属度为0，其它则为中间情况。，其它则为中间情况。2电气与信息工程学院电气与信息工程学院信息的定量描述信息的定量描述信息科学导论信息科学导论集合的示性函数（即隶属度）分布曲线是具有突变跳跃的集合的示性函数（即隶属度）分布曲线是具有突变跳跃的曲线，如图所示。曲线，如图所示。3.1 3.1

19、语法信息的描述语法信息的描述-模糊型语法信息的描述模糊型语法信息的描述2电气与信息工程学院电气与信息工程学院信息的定量描述信息的定量描述信息科学导论信息科学导论一种规范的模糊集定义可以表述如下。一种规范的模糊集定义可以表述如下。所谓给定了论域所谓给定了论域U上的一个模糊子集上的一个模糊子集X是指：对于任意是指：对于任意u U，都都指定了某个数指定了某个数 ，叫做，叫做u对于对于X的隶属度。这个映射的隶属度。这个映射 叫做叫做X的隶属度函数。的隶属度函数。1,0)(ufx 1,0:Ufx3.1 3.1 语法信息的描述语法信息的描述-模糊型语法信息的描述模糊型语法信息的描述可以用模糊集隶属度曲线来

20、描述模糊事物的可以用模糊集隶属度曲线来描述模糊事物的“运动的状态及其变运动的状态及其变化方式化方式”。我们把模糊集元所具有的隶属度记为。我们把模糊集元所具有的隶属度记为f，第第i个元的隶个元的隶属度记为属度记为fi，整个模糊集上的隶属度分布则记为整个模糊集上的隶属度分布则记为F。需要注意，与需要注意，与概率的情况不同，这里的隶属度不满足归一化的要求，即概率的情况不同，这里的隶属度不满足归一化的要求，即 Fffiii12电气与信息工程学院电气与信息工程学院信息的定量描述信息的定量描述信息科学导论信息科学导论与概率空间的概念相类似，可以把模糊试验与概率空间的概念相类似，可以把模糊试验X和它的隶属度

21、分布和它的隶属度分布F所组成的序对（所组成的序对（X，F）称为模糊事件的隶属度空间。称为模糊事件的隶属度空间。3.1 3.1 语法信息的描述语法信息的描述-模糊型语法信息的描述模糊型语法信息的描述 若用符号若用符号F表示试验前的隶属度分布，表示试验前的隶属度分布，F*表示试验后的隶属度分表示试验后的隶属度分布，那么布，那么 就描述了一个模糊试验所提供的模糊信息。在理想试验的场合，就描述了一个模糊试验所提供的模糊信息。在理想试验的场合，经过试验，模糊性可以被完全消除。这时，经过试验，模糊性可以被完全消除。这时，F*的元只取的元只取0或或1，即，即 这时的隶属度分布记为这时的隶属度分布记为 。它实

22、际上已经蜕化成为一个普通集的。它实际上已经蜕化成为一个普通集的示性函数。示性函数。),(),(*FXFXiifi其余某些01*sF2电气与信息工程学院电气与信息工程学院信息的定量描述信息的定量描述信息科学导论信息科学导论 我们可以采用指称逻辑的概念来处理事物运动状态及其变化方式我们可以采用指称逻辑的概念来处理事物运动状态及其变化方式的含义表征问题。的含义表征问题。3.2 3.2 语义信息的描述参量语义信息的描述参量采用指称逻辑的概念来处理状态含义的表征问题，可以设置一个采用指称逻辑的概念来处理状态含义的表征问题，可以设置一个“状态逻辑真实度状态逻辑真实度”参量，记为参量，记为t，它应当满足它应

23、当满足 0t1 及及 状态逻辑为伪状态逻辑模糊状态逻辑不定状态逻辑为真0)1,0(2/11at2电气与信息工程学院电气与信息工程学院信息的定量描述信息的定量描述信息科学导论信息科学导论具体来说，如果某事物具体来说，如果某事物X具有具有N个可能的运动状态：个可能的运动状态：xn,n=1，N。记状态记状态xn的逻辑真实度为的逻辑真实度为tn，可以建立一个关于事物可以建立一个关于事物X的逻辑的逻辑真实度空间，记为真实度空间，记为 NnNntttxxxTX113.2 3.2 语义信息的描述参量语义信息的描述参量其中其中 称为称为X的逻辑真实度广义分布。的逻辑真实度广义分布。“广义广义”所指，是因为所指

24、，是因为tn的总和不一定归一，即有的总和不一定归一，即有符号符号“”表示表示“可能大于、小于或等于可能大于、小于或等于1，而不是必然等于，而不是必然等于1”。NntTn,1|11Nnnt2电气与信息工程学院电气与信息工程学院信息的定量描述信息的定量描述信息科学导论信息科学导论类似地，我们也可以采用效用度的概念来处理事物运动状态及其类似地，我们也可以采用效用度的概念来处理事物运动状态及其变化方式的价值表征的问题。变化方式的价值表征的问题。3.3 3.3 语用信息的描述参量语用信息的描述参量采用效用度的概念来处理状态价值的表征问题，在这里就是要解采用效用度的概念来处理状态价值的表征问题，在这里就是

25、要解决事物各种运动状态对主体的价值大小的描述。于是，可以设置决事物各种运动状态对主体的价值大小的描述。于是，可以设置一个一个“状态效用度状态效用度”参量，记为参量，记为u，它应当满足它应当满足 0 u 1 及及 状态效用最小状态效用模糊状态效用最大0)1,0(1bu2电气与信息工程学院电气与信息工程学院信息的定量描述信息的定量描述信息科学导论信息科学导论其中其中称为称为X的效用度广义分布。的效用度广义分布。“广义广义”所指，也是因为所指，也是因为un，的总和不一定归一，即有的总和不一定归一，即有 NnuUn,1|11Nnnu3.3 3.3 语用信息的描述参量语用信息的描述参量2电气与信息工程学

26、院电气与信息工程学院信息的定量描述信息的定量描述信息科学导论信息科学导论 对于某个事物对于某个事物X，若它有若它有N种可能的状态种可能的状态xn，n=1，N；又若又若在观察试验之前它的先验参量分别为在观察试验之前它的先验参量分别为cn（表征状态变化方式的形表征状态变化方式的形式）、式）、tn（逻辑真实度）和逻辑真实度）和un（效用度），相应的先验广义分布效用度），相应的先验广义分布为为C、T和和U，而在观察试验之后，它的后验广义分布为而在观察试验之后，它的后验广义分布为C*、T*和和U*，那么，与观察事物那么，与观察事物X相关的语法信息、语义信息和语用信相关的语法信息、语义信息和语用信息过程就

27、可以分别描述为息过程就可以分别描述为 ),(),(*CXCX),(),(*TXTX),(),(*UXUX3.3 3.3 全信息的描述全信息的描述2电气与信息工程学院电气与信息工程学院信息的定量描述信息的定量描述信息科学导论信息科学导论 通常，我们把用逻辑真实度空间和效用度空间描述的语义信息和通常，我们把用逻辑真实度空间和效用度空间描述的语义信息和语用信息分别称为单纯语义信息和单纯语用信息，相应的逻辑真语用信息分别称为单纯语义信息和单纯语用信息，相应的逻辑真实度和效用度也分别称为单纯逻辑真实度和单纯效用度。实度和效用度也分别称为单纯逻辑真实度和单纯效用度。3.3 3.3 全信息的描述全信息的描述

28、但是，正如前面所指出的，语义信息须以语法信息为基础，语用但是，正如前面所指出的，语义信息须以语法信息为基础，语用信息须以语义和语法信息为基础。这样就有必要进一步引出综合信息须以语义和语法信息为基础。这样就有必要进一步引出综合逻辑真实度和综合效用度的概念，以及与此相应的综合逻辑真实逻辑真实度和综合效用度的概念，以及与此相应的综合逻辑真实度空间和综合效用度空间的概念。利用这些概念，可以建立对于度空间和综合效用度空间的概念。利用这些概念，可以建立对于综合语义信息和综合语用信息的描述。综合语义信息和综合语用信息的描述。2电气与信息工程学院电气与信息工程学院信息的定量描述信息的定量描述信息科学导论信息科

29、学导论给定事物给定事物X，假设它有假设它有N个可能的运动状态个可能的运动状态xn，n=1，N，每个状态的变化方式的形式化因素用参量每个状态的变化方式的形式化因素用参量cn来表征，在概率性事来表征，在概率性事件场合，件场合，cn就是概率就是概率pn，在偶发性事件场合，在偶发性事件场合，cn就是可能度就是可能度qn，在模糊事件场合，在模糊事件场合，cn就是隶属就是隶属fn；又若各个状态的单纯逻辑真实又若各个状态的单纯逻辑真实度为度为tn，单纯效用度为单纯效用度为un，那么，那么，X的综合逻辑真实度、综合逻辑的综合逻辑真实度、综合逻辑真实度空间、综合效用度、综合效用度空间就可以分别定义如下真实度空间

30、、综合效用度、综合效用度空间就可以分别定义如下.3.3 3.3 全信息的描述全信息的描述2电气与信息工程学院电气与信息工程学院信息的定量描述信息的定量描述信息科学导论信息科学导论综合逻辑真实度：综合逻辑真实度：综合逻辑真实度空间：综合逻辑真实度空间：综合逻辑真实度广义分布：综合逻辑真实度广义分布：Nntcnnn,1NnNnxxx11Nnn,1|3.3 3.3 全信息的描述全信息的描述2电气与信息工程学院电气与信息工程学院信息的定量描述信息的定量描述信息科学导论信息科学导论综合效用度：综合效用度：综合效用度空间：综合效用度空间：综合效用度广义分布综合效用度广义分布 Nnutcnnnn,1NnNnxxx11Nnn,1|3.3 3.3 全信息的描述全信息的描述2电气与信息工程学院电气与信息工程学院信息的定量描述信息的定量描述信息科学导论信息科学导论有了这些表示方法，就可以描述综合语义信息和综合语用信息的有了这些表示方法，就可以描述综合语义信息和综合语用信息的过程：过程：以及以及 其中，其中，和和 是是X的先验综合逻辑真实度广义分布和先验综合效的先验综合逻辑真实度广义分布和先验综合效用度广义分布，用度广义分布，和和 是相应的后验广义分布。是相应的后验广义分布。*),(),(XX*3.3 3.3 全信息的描述全信息的描述