工程测试与信号分析研究生课件：ch3-信息论基础知识x.ppt

1、23:211MEASUREMENTINFORMATION SIGNAL ANALYSIS IN MECHANICAL ENGINEERING 机械工程测试机械工程测试信息信息信号分析信号分析 机械科学与工程学院机械科学与工程学院 机械电子信息工程系机械电子信息工程系李锡文李锡文 轩建平轩建平 23:212第三章 信息论基础知识q主要内容主要内容 一、信息的定义和作用、信息科学与技术一、信息的定义和作用、信息科学与技术 二、信息论与广义通信系统二、信息论与广义通信系统 三、信息的定量描述三、信息的定量描述-信源模型与信息熵信源模型与信息熵 四、连续信源与最大熵定理四、连续信源与最大熵定理 五、信

2、息与熵的守恒定律五、信息与熵的守恒定律23:213课件资料下载：邮箱地址： “机械工程测试机械工程测试”每个字拼音的第一个字母每个字拼音的第一个字母 密码：111111注意下载时不要删除原始文件 23:2143-1 信息与信息技术 一、信息的定义一、信息的定义 1. 泛说泛说 地质工作者说地质工作者说: 信息就是资源信息就是资源 企业家说企业家说: 信息就是资本信息就是资本 管理工作者说管理工作者说: 信息就是办法信息就是办法 军事指挥家说军事指挥家说: 信息就是胜利信息就是胜利 . . . 现代汉语辞典：用符号传递的报道，报道的内容是接收现代汉语辞典：用符号传递的报道，报道的内容是接收符号者

3、预先不知道的符号者预先不知道的 。 日本广辞菀辞典：信息是对某种事物的预报。日本广辞菀辞典：信息是对某种事物的预报。 23:215信息定义 英语英语 information in 接收消息，接收消息， formation 整整理成章。理成章。 控制论创始人控制论创始人 N.Wiener ：人和外界互相作用过程人和外界互相作用过程中互相交换的内容的名称。中互相交换的内容的名称。 信息论奠基人信息论奠基人 C.E.Shannon：熵的减少熵的减少2. 定义定义q事物运动的状态和方式事物运动的状态和方式 事物事物 物质物质 运动运动 广义的运动广义的运动 状态状态 稳定稳定 方式方式 变化变化23:

4、216信息科学与信息技术信息、数据、知识信息、数据、知识三者的区别三者的区别 信息信息 What When Where Who 数据数据 How much How many Which Yes / No 知识知识 How Why二、信息的基本性质二、信息的基本性质 识别识别 转换转换 存储存储 传输传输三、信息科学：研究信息现象及其规律的科学三、信息科学：研究信息现象及其规律的科学 信息本身的规律信息本身的规律 认识信息认识信息 利用信息的规律利用信息的规律 利用信息利用信息四、信息技术四、信息技术 扩展扩展人的信息功能的技术人的信息功能的技术 传感技术传感技术 （collection）人的感

5、官的扩展人的感官的扩展 通信技术通信技术 （communication）人的神经系统的扩展人的神经系统的扩展 计算机技术计算机技术 （computer）人的大脑功能的扩展人的大脑功能的扩展23:2173-2 信息论与广义通信系统一、信息论的基本概念一、信息论的基本概念信息论源于通信工程，发展基于以下问题：信息论源于通信工程，发展基于以下问题： 信息传输的效率，信息传输的准确性，噪声干扰，信道信息传输的效率，信息传输的准确性，噪声干扰，信道频率特性；频率特性； 狭义信息：狭义信息：研究信息的测度、信道容量以及信源和信道研究信息的测度、信道容量以及信源和信道编码理论；编码理论； 一般信息论：一般信

6、息论：研究通信问题，包括噪声理论、信号滤波研究通信问题，包括噪声理论、信号滤波与预测，信号调制与处理；与预测，信号调制与处理； 广义信息论：广义信息论：含其他学科中有关信息的问题含其他学科中有关信息的问题23:218信息论的基本问题：信源信源 信宿信宿 信道信道 编码编码例：无线电通信系统；声发射监测系统；刀具磨损监测系统二、广义通信系统二、广义通信系统广义通信系统编码器编码器译码器译码器无线电通信系统无线电通信系统23:219广义通信系统声发射监测系统声发射监测系统刀具磨损监测系统刀具磨损监测系统23:2110 3-3 3-3 信息的定量描述信息的定量描述一、信源：信息输出是随机的，常用随机

7、变量或随机矢量或概率空间描述。离散和连续信源。二、离散信源模型 离散型概率空间例1：掷硬币例2：超声波探伤3-3 信息的定量描述1)()()()(,12121NiiNNxPxPxPxPxxxPX23:21113-3 自信息三三 、自信息、自信息 自信息指信源某一事件自信息指信源某一事件xi发生时所包含的信息量，是随机发生时所包含的信息量，是随机变量；变量； 某事件发生所含有的信息量是该事件发生的先验概率的函某事件发生所含有的信息量是该事件发生的先验概率的函数，即数，即 f=-Log a 测度单位：测度单位：a=2为底，比特；为底，比特；e为底，奈特；为底，奈特；10为底，哈特为底，哈特发生所含

8、有的信息量表示事件发生的先验概率；是事件态；描述信源输出的可能状iiiiiiixxIxxPxxPfxI)()(,)()(23:2112I(xi)与P(xi)的关系qI(xi)与是先验概率与是先验概率P(xi)的单调递减的单调递减函数；函数；qP(xi) =1时，时， I(xi)=0，必然事件信息，必然事件信息量为量为0；qP(xi) =1时，时， I(xi)=0，不可能发生的，不可能发生的事件发生了，其信息量无穷大；事件发生了，其信息量无穷大；q两个独立事件的联合信息量，应等两个独立事件的联合信息量，应等于它们各自信息量之和。于它们各自信息量之和。23:2113四、信息熵：四、信息熵：自信息的

9、数学期望，即自信息的数学期望，即信源的平均信息量信源的平均信息量 物理意义：物理意义：表征了信源整体的统计特性表征了信源整体的统计特性，是总体，是总体的的平均不确定性平均不确定性的量度；或的量度；或表征了变量的随机性表征了变量的随机性。 例：例：/)(log)()(log)(1事件bitxPxPxPEXHNiiii信息熵.5 . 05 . 0,)(,01. 099. 0,)(,2121yyyPYxxxPXii./ 15 . 0log5 . 05 . 0log5 . 0)(/08. 001. 0log01. 099. 0log99. 0)(事件，事件bitYHbitXH信息熵越大，随机性也越大信

10、息熵越大，随机性也越大23:2114信息熵基本性质五、信息熵的基本性质五、信息熵的基本性质 P68 对称性：对称性：概率空间顺序任意互换时，熵函数的值不变概率空间顺序任意互换时，熵函数的值不变 确定性：确定性：信源的输出若有一种必然事件，其熵为信源的输出若有一种必然事件，其熵为0 非负性：非负性：H(X)=0 可加性：可加性：统计独立信源统计独立信源X和和Y的联合信源的熵等于各自熵的联合信源的熵等于各自熵的和，熵函数的形式是唯一的的和，熵函数的形式是唯一的 极值性：极值性：信源各个状态为等概率分布时，熵值最大信源各个状态为等概率分布时，熵值最大 最大离散熵定理最大离散熵定理六、信息熵与热力学熵

11、六、信息熵与热力学熵 热力学熵不减热力学熵不减 信息学熵不增信息学熵不增23:2115一、连续信源一、连续信源 连续信源：连续信源：信源的输出状态数是不可数的无限值，且任一信源的输出状态数是不可数的无限值，且任一时刻，取值也是连续的，可用连续随机变量描述。如机床时刻，取值也是连续的，可用连续随机变量描述。如机床工作状态监测系统。工作状态监测系统。 连续型的概率空间连续型的概率空间 连续信源的熵连续信源的熵Rdxxpxpxh)(log)()(RbadxxpdxxpxpRxpbaxpX1)(1)()()(),()(,或或3-4 连续信源及最大熵定理xdxxpxpXHnbannloglim)(log

12、)()(lim23:2116二、最大熵定理：约束条件不同，最大相对熵不同二、最大熵定理：约束条件不同，最大相对熵不同 峰值功率受限条件下信源的最大熵：输出信号的概率密度是峰值功率受限条件下信源的最大熵：输出信号的概率密度是均匀分布均匀分布 平均功率受限条件下信源的最大熵：信号输出幅度的概率密平均功率受限条件下信源的最大熵：信号输出幅度的概率密度分布是高斯分布时。度分布是高斯分布时。三、联合信源的熵三、联合信源的熵 3-5 信息与熵的守恒定律22log21)(log)()(edxxpxpxh)(log1log1)(abdxababxhba23:21173-5 信息与熵的守恒定律3-5 信息与熵的守恒定律信息与熵的守恒定律maxmaxIHIHconstIH