熵与信息生命赖负熵为生课件.pptx
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《熵与信息生命赖负熵为生课件.pptx》由用户(三亚风情)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息 生命 赖负熵 为生 课件
- 资源描述:
-
1、一、熵概念的发展简史一、熵概念的发展简史1. 熵最初产生于熵最初产生于18世纪初,世纪初,Carnot研究热机效率发现可逆循研究热机效率发现可逆循环过程,随后环过程,随后Clausius根据可逆根据可逆Carnot循环过程定义了态循环过程定义了态函数熵。函数熵。 Clausius明确了熵态函数,但没有给出更深刻的明确了熵态函数,但没有给出更深刻的物理含义。物理含义。2. 直到直到19世纪中期,世纪中期,1887年波尔兹曼著名公式:年波尔兹曼著名公式:w是热力学是热力学体系宏观态的微观状态数。当初称热力学几率,其实这个体系宏观态的微观状态数。当初称热力学几率,其实这个词并不确切。因为:通常几率在
2、词并不确切。因为:通常几率在0,1区间,而热力学区间,而热力学体系宏观状态的微观状态数体系宏观状态的微观状态数w总是大于总是大于1,而且数量级非,而且数量级非常之高。常之高。3. 1928年,年,Hartrey可能受波尔兹曼关系的启发,首次在通可能受波尔兹曼关系的启发,首次在通信领域里提出信息熵的定义:信领域里提出信息熵的定义:wkSln 1NlogH N是等概率消息单元的总数,信息熵是等概率消息单元的总数,信息熵H的意义是输送一个的意义是输送一个消息单元的不肯定性程度的量度。等概消息单元总数消息单元的不肯定性程度的量度。等概消息单元总数N愈多,愈多,信息熵信息熵H愈大,输送一个消息单元的不肯
3、定性程度就愈大;反愈大,输送一个消息单元的不肯定性程度就愈大;反之,之,N愈少。当消息单元的总数愈少。当消息单元的总数N=1时,时,H=0,输送这个消息,输送这个消息的不肯定性程度为零,就是完全肯定输送这个消息。的不肯定性程度为零,就是完全肯定输送这个消息。信息熵意义:信息熵意义: 在解决通信领域里的实际问题比较方便,只要知道等概在解决通信领域里的实际问题比较方便,只要知道等概率消息单元总数率消息单元总数N就可以计算信息熵就可以计算信息熵H。不足:不足:对简单的信息源应用起来方便,对复杂的信息源把握等概对简单的信息源应用起来方便,对复杂的信息源把握等概率消息单元总数率消息单元总数N却不是容易做
4、到的;却不是容易做到的;用这个信息熵定义计算得到的实际上是信息源的最大熵。用这个信息熵定义计算得到的实际上是信息源的最大熵。3、1948年,年,shannon推广推广Hartrey信息熵的定义,首先引入各不信息熵的定义,首先引入各不等概消息单元不肯定性的量度等概消息单元不肯定性的量度本征信息熵为:本征信息熵为: 2iiPlnXH11niiP信息熵定义:信息熵定义:H(X) 各个不等概消息单元的本征信息熵的加权统计平均值。各个不等概消息单元的本征信息熵的加权统计平均值。 311iniiniiiPlnPXHPXHPi是第是第i个消息单元的概率,个消息单元的概率,n是不等概消息单元的总数。是不等概消
5、息单元的总数。本征信息熵的意义:第本征信息熵的意义:第i个消息单元个消息单元Xi的不肯定性程度的量度。的不肯定性程度的量度。总信息熵的意义:信息源总信息熵的意义:信息源X的总的不肯定程度的量度。的总的不肯定程度的量度。当各个消息单元是等概率时当各个消息单元是等概率时Nn)X(P)X(P)X(Pn1121信息源的信息熵为:信息源的信息熵为: NlnNlnNXHNi111Hartrey定义的信息熵是定义的信息熵是shannon定义的信息熵在等概条件下定义的信息熵在等概条件下的最大值。的最大值。4、随着生物信息论、经济信息论、社会信息论等学科不断运、随着生物信息论、经济信息论、社会信息论等学科不断运
6、用信息熵,使之有进一步的泛化的必要。熵的产生于热力学,用信息熵,使之有进一步的泛化的必要。熵的产生于热力学,扩展于信息论等学科领域。在不同的学科里,对熵的意义提法扩展于信息论等学科领域。在不同的学科里,对熵的意义提法有所不同。但是从泛熵的概念高度来看。它们在本质上是一致有所不同。但是从泛熵的概念高度来看。它们在本质上是一致的。凡是属于下列一类的对立统一性质的事物,例如:的。凡是属于下列一类的对立统一性质的事物,例如:混乱性混乱性秩序性,秩序性, 散漫性散漫性组织性。组织性。无序性无序性有序性,有序性, 不肯定性不肯定性肯定性。肯定性。盲目性盲目性目的性,目的性, 一般性一般性特异性,特异性,随
7、意性随意性计划性,计划性, 随机性随机性确定性,确定性,多样性多样性单纯性,单纯性, 含糊性含糊性透彻性,透彻性,暧昧性暧昧性明确性,明确性, 未知性未知性已知性已知性噪声噪声信号,信号,并且满足如下概型条件并且满足如下概型条件本征状态:本征状态:niXXXX21概率分布:概率分布:niPPPP21完备性:完备性:;Xnii归一性:归一性:11niiP以上的问题,均可用熵作为指标进行分析。以上的问题,均可用熵作为指标进行分析。二、信息源的概型结构二、信息源的概型结构 本征信息熵本征信息熵现在讨论信息熵的基本概念现在讨论信息熵的基本概念1、信息源:发送消息的源。、信息源:发送消息的源。Infor
8、mation source 例如:自然界中的一切物体,大至宇宙天体,小至原子、原例如:自然界中的一切物体,大至宇宙天体,小至原子、原子核、基本粒子、以及中间的各个层次:生物圈,生态,群子核、基本粒子、以及中间的各个层次:生物圈,生态,群落,种群,个体,系统,器官,组织,细胞,亚细胞,分子,落,种群,个体,系统,器官,组织,细胞,亚细胞,分子,亚分子等,例如一个国家、社会团体,大脑,内分泌等等,亚分子等,例如一个国家、社会团体,大脑,内分泌等等,都有它们自己的情态,无不随时发送出它们自己的消息,因都有它们自己的情态,无不随时发送出它们自己的消息,因而都可作为信息源。而都可作为信息源。信息源特点:
9、信息源特点:它们都具有一系列可能的基本状态,叫本征态。每一本征态称为它们都具有一系列可能的基本状态,叫本征态。每一本征态称为一个消息单元,记:一个消息单元,记:Xi(i=1,2,3n),这),这n个消息单元或本征态个消息单元或本征态序列实际上就是离散的随机变量,它具有互斥性和完备性。互斥性:序列实际上就是离散的随机变量,它具有互斥性和完备性。互斥性:信息源可能处于这个基本状态,也可能处于其余的基本状态,但不信息源可能处于这个基本状态,也可能处于其余的基本状态,但不能同时处于同一个本征状态,处于这个本征态,就不处于其它本征能同时处于同一个本征状态,处于这个本征态,就不处于其它本征态;完备性:这个
10、态;完备性:这个n个消息单元是完备无缺的。这个个消息单元是完备无缺的。这个n个互斥的完备个互斥的完备的消息单元构成一个消息单元的集合,记:的消息单元构成一个消息单元的集合,记:XX1, X2 ,Xn每个消息单元每个消息单元Xi都有个确定的概率与之相对应,记:都有个确定的概率与之相对应,记:p(Xi),整个,整个消息单元的集合消息单元的集合X有概率:有概率: P (X) P(X1), P(X2 ),P(Xn)分分布着,消息单元集合的互斥性与完备性反应在概率上是概率的总和布着,消息单元集合的互斥性与完备性反应在概率上是概率的总和具有归一性。具有归一性。11)X(Pnii因此,信息源的基本概型结构:
11、因此,信息源的基本概型结构:消息单元消息单元Xi X1, X2 , Xn概率分布概率分布P(Xi) P(X1), P(X2 ), P(Xn) 实际例子:设有一在外的工作人员,收到消息得知家中的老母实际例子:设有一在外的工作人员,收到消息得知家中的老母中风住院治疗,这时他母亲就是个信息源,可能处于的本征态:中风住院治疗,这时他母亲就是个信息源,可能处于的本征态:可能发送出的消息单元有可能发送出的消息单元有(Xi) :消息单元消息单元XiX1死亡死亡X2昏迷昏迷X3偏瘫偏瘫X4好转好转X5康复康复概率分布概率分布P(Xi)1/51/51/51/51/5 当工作人员又接到家信得悉母亲经抢救后,已恢复
12、意识,当工作人员又接到家信得悉母亲经抢救后,已恢复意识,正在积极进行治疗。这时信息源的本征态或消息单元的集合概正在积极进行治疗。这时信息源的本征态或消息单元的集合概率分布已发生了变化。率分布已发生了变化。消息单元消息单元XiX1死亡死亡X2昏迷昏迷X3偏瘫偏瘫X4好转好转X5康复康复概率分布概率分布P(Xi)001/31/31/3如果工作人员又接到消息说:经积极治疗后已经能起床作太如果工作人员又接到消息说:经积极治疗后已经能起床作太极操了,则相应的概率分布变为:极操了,则相应的概率分布变为:消息单元消息单元XiX1死亡死亡X2昏迷昏迷X3偏瘫偏瘫X4好转好转X5康复康复概率分布概率分布P(Xi
13、)0001/21/2提出一个问题:各个消息单元的不肯定程度多大?提出一个问题:各个消息单元的不肯定程度多大? 概论大,可概论大,可能性就越大,不可定性程度就越小;反之,概率小,可能性就能性就越大,不可定性程度就越小;反之,概率小,可能性就越小。越小。 例如:例如:X5康复的概率最大到康复的概率最大到1,其它概率降为零,这个,其它概率降为零,这个消息单元消息单元X5就完全肯定了。不确定性为零。就完全肯定了。不确定性为零。因此,本征信息熵定义:消息单元概率的倒数的对数为消息单因此,本征信息熵定义:消息单元概率的倒数的对数为消息单元的不肯定性程度的量度。元的不肯定性程度的量度。)X(Plog)X(P
14、log)X(Hi2i2i 1第一次电话后,五个本征态或消息单元,各个本征信息熵:第一次电话后,五个本征态或消息单元,各个本征信息熵:消息单元消息单元XiX1死亡死亡X2昏迷昏迷X3偏瘫偏瘫X4好转好转X5康复康复P(Xi)1/51/51/51/51/5H(Xi)bit2.3222.3222.3222.3222.322第二次电话后,五个本征态或消息单元,各个本征信息熵:第二次电话后,五个本征态或消息单元,各个本征信息熵:XiX1死亡死亡X2昏迷昏迷X3偏瘫偏瘫X4好转好转X5康复康复P(Xi)001/31/31/3H(Xi)bit1.585XiX1死亡死亡X2昏迷昏迷X3偏瘫偏瘫X4好转好转X5
15、康复康复P(Xi)0001/21/2H(Xi)bit1第三次电话后,五个本征态或消息单元,各个本征信息熵:第三次电话后,五个本征态或消息单元,各个本征信息熵:对于好转这个消息单元的不肯定性程度由对于好转这个消息单元的不肯定性程度由2.322bit逐渐减少逐渐减少到到1bit,肯定性程度是逐渐增加的。,肯定性程度是逐渐增加的。三、信息源不肯定性的量度三、信息源不肯定性的量度信息熵信息熵信息源的信息熵:各个消息单元的本征信息熵的统计加权平均信息源的信息熵:各个消息单元的本征信息熵的统计加权平均值。为这信息源的不肯定性的程度。值。为这信息源的不肯定性的程度。 nii2iniii)X(Plog)X(P
16、)X(H)X(P)X(H111第一次电话后,五个本征态或消息单元,平均一个消息单元的第一次电话后,五个本征态或消息单元,平均一个消息单元的不肯定性程度为:信息源的信息熵。不肯定性程度为:信息源的信息熵。bit.log)X(H)X(P)X(H2iii32225151551 第二次电话后,第二次电话后,平均一个消息单元的不肯定性程度为平均一个消息单元的不肯定性程度为信息源的信息熵。信息源的信息熵。bit1.5853log33)X(H)X(P)X(H2iii 1151第三次电话后,第三次电话后,消息单元的不肯定性程度为:信息源的信息熵消息单元的不肯定性程度为:信息源的信息熵bit12log22)X(
17、H)X(P)X(H2iii 1151如果概率分布不是均等的。设:如果概率分布不是均等的。设:XiX1死亡死亡X2昏迷昏迷X3偏瘫偏瘫X4好转好转X5康复康复P(Xi)0.10.20.30.30.1H(Xi)bit0.3322 0.4644 0.5211 0.52110.3322bit.)X(H)X(P)X(Hiii17251bit.3222 信息熵应用信息熵应用目的性目的性盲目性程度的量度盲目性程度的量度设有二名高尔夫球手,由于训练素养不同,击球射出的盲目性设有二名高尔夫球手,由于训练素养不同,击球射出的盲目性程度不同,经过足够多次的调查统计确定,他们的击球概率分程度不同,经过足够多次的调查统
18、计确定,他们的击球概率分布如下:布如下:rrr2r3r2r3方方 向向P甲甲P乙乙4r5r00.023r4r00.042r3r0.020.08r2r0.140.120r0.340.240-r0.340.24-r-2r0.140.12-2r-3r0.020.08-3r-4r00.04-4r-5r00.021.001.00r是坑的半径。由概率的定性分析可知,射手甲的目的性好,是坑的半径。由概率的定性分析可知,射手甲的目的性好,乙比甲的盲目性大些。以熵为定量分析指标,分别计算得:乙比甲的盲目性大些。以熵为定量分析指标,分别计算得:bit.PlogPHii07821012i甲甲bit.PlogPHii
19、902821012i乙乙定量可知,射手乙比甲的盲目性大定量可知,射手乙比甲的盲目性大0.8244bit .四、信息熵的性质四、信息熵的性质分析本征信息熵加权函数分析本征信息熵加权函数(1)非负性)非负性iiiplogP)p(H10iP01iiiiiplogPplogP)p(H(2)连续性)连续性(3)极值性)极值性(4)平均性)平均性信息熵的性质信息熵的性质miiimplogP)PPP(H121非负性,连续性,极值性、对称型、加合性非负性,连续性,极值性、对称型、加合性五、信息量五、信息量信息量信息量I =熵的减少熵的减少21SSSI熵的减少意味着系统有序度的增加。熵的减少意味着系统有序度的增
20、加。 知识是信息,所以知识是负熵。不管是教师或是知识是信息,所以知识是负熵。不管是教师或是学生在这一负熵传递过程中,两者都要消耗有用的功,学生在这一负熵传递过程中,两者都要消耗有用的功,增加人体、环境的熵。一个子系统负熵、有序的增加,增加人体、环境的熵。一个子系统负熵、有序的增加,是以全局的熵、混乱的增加为代价的。是以全局的熵、混乱的增加为代价的。薛定谔把负熵的概念带进生物学。薛定谔把负熵的概念带进生物学。 按照熵的增加原理,演化总是朝着无序、混乱和衰退方按照熵的增加原理,演化总是朝着无序、混乱和衰退方向。为什么生物能避免死亡?靠吃、喝、呼吸,向。为什么生物能避免死亡?靠吃、喝、呼吸,新陈代新
21、陈代谢。一个有机体在不断地增加它的熵谢。一个有机体在不断地增加它的熵在增加正熵在增加正熵并并接近最大熵值的危险状态,那就是死亡。要摆脱死亡,活着,接近最大熵值的危险状态,那就是死亡。要摆脱死亡,活着,唯一的办法是从环境不断地吸取负熵,有机体是靠负熵为生唯一的办法是从环境不断地吸取负熵,有机体是靠负熵为生的。意思:有机体吸取负熵去抵消它在生活中产生的熵增加,的。意思:有机体吸取负熵去抵消它在生活中产生的熵增加,从而自身稳定在低熵的水平。从而自身稳定在低熵的水平。 关于负熵:关于负熵:1987年薛定谔年薛定谔100周年诞辰,围绕他的负熵周年诞辰,围绕他的负熵又展开了激烈的争论又展开了激烈的争论 熵
展开阅读全文