《物联网智能信息处理》课件第四章 物联网的智能信息处理-第三节.pptx

1、目录4123基于贝叶斯网络的神经网络法基于贝叶斯网络的神经网络法0信息融合技术信息融合技术粗糙集信息处理粗糙集信息处理5信息的跨系统交互信息的跨系统交互信息处理的定义与目标信息处理的定义与目标1 由中枢神经系统（脑和脊髓）及周围神经系统（感觉、运动、交感等）所构成的错综复杂的神经网络，最重要的是脑神经系统。4.3基于贝叶斯网络的神经网络法基于贝叶斯网络的神经网络法 4.3.1生物神经网络轴突树突突触细胞体神经末梢突触一个神经元的树突-细胞体轴突突触另一个神经元树突1.生物神经元2神经元工作状态神经元工作状态：兴奋状态：细胞膜电位高于动作电位的阈值时，产生神经冲动。抑制状态：细胞膜电位低于动作电

2、位的阈值时，无神经冲动产生。4.3.1生物神经网络 对不同时间通过同一突触传入的信息具有时间整合功能 对同一时间通过不同突触传入的信息具有空间整合功能时空整合能力 由于神经元结构的可塑性，突触的传递作用可增强和减弱，因此神经元具有学习与遗忘的功能。学习与遗忘1.生物神经元3 4.3.1生物神经网络2.生物神经网络 从信息系统研究的观点出发，对于人脑这个智能信息处理系统，有如下一些固有特征：(1)并行分布处理并行分布处理的工作模式。的工作模式。（2)神经系统的神经系统的可塑性和自组织可塑性和自组织性。性。(3)信息处理与信信息处理与信息存贮合二为一。息存贮合二为一。(4)信息处理的系信息处理的系

3、统性统性(5)能接受和处理能接受和处理模糊的、模拟的、模糊的、模拟的、随机的信息。随机的信息。(6)求满意解而不求满意解而不是精确解。是精确解。(7)系统的恰当退系统的恰当退化和冗余备份化和冗余备份(鲁鲁棒性和容错性棒性和容错性)。4.3.2 人工神经网络模型人工神经网络（Artificial Neural Networks，ANNs）是在结构和功能上对生物神经网络的某种程度的模拟和逼近。4v 直观理解 人工神经网络是一个并行并行和分布式分布式的信息处理网络结构。它一般由大量神经元组成：每个神经元只有一个输出，可以连接到很多其他的神经元。每个神经元输入有多个连接通道，每个连接通道对应于一个连接

4、权系数。1.人工神经元5人工神经元是人工神经网络的基本处理单元。它对生物神经元的模拟主要考虑两个特性：时空加权，阈值作用。图中：是指神经元的输入；是指连接权值；是神经元的阈值；是神经元的净输入；是非线性函数；是神经元的输出。uwx)(xfy 4.3.2 人工神经网络模型6)(xf10 x0,11)(xexf在神经元模型中，作用函数除了单位阶跃函数之外，还有其它形式。不同的作用函数，可构成不同的神经元模型。阈值型S型线性型线性 饱和线性 对称饱和线性 4.3.2 人工神经网络模型1.人工神经元72.神经网络结构 若干个神经元通过相互连接就形成一个神经网络，这个神经网络的拓扑结构称为神经网络的互连

5、模式。互连模式。神经元模型、数量及互连模式确定了神经网络的结构，而神经神经元模型、数量及互连模式确定了神经网络的结构，而神经网络结构又决定了其信息处理的能力。网络结构又决定了其信息处理的能力。4.3.2 人工神经网络模型8根据神经元的拓扑结构形式不同，神经网络可分成以下两大类：(1)层次型神经网络层次型神经网络 4.3.2 人工神经网络模型2.神经网络结构普通前向网络普通前向网络神经元分层排列，顺序连接。每层的神经元只接受前一层神经元的输入。层内互联前向网络层内互联前向网络在同一层中的神经元相互有连接。可以实现同一层内神经元之间的横向抑制或兴奋机制。9(1)层次型神经网络层次型神经网络(2)互

6、连型神经网络互连型神经网络 4.3.2 人工神经网络模型2.神经网络结构带反馈的层次网络带反馈的层次网络每一个输入节点都有可能接受来自外部的输入和来自输出神经元的反馈。只在输出层到输入层存在反馈。任意两个神经元之间都可能有相互连接的关系。神经网络处在一种不断改变状态的动态过程中。根据神经网络的连接结构及功能特点可知，层次型神经网络根据神经网络的连接结构及功能特点可知，层次型神经网络主要用于函数映射，互连型神经网络主要用作各种联想存储主要用于函数映射，互连型神经网络主要用作各种联想存储器或用于求解最优化问题。器或用于求解最优化问题。103.神经网络工作过程 连接权值按照一定的学习规则进行自动调整

7、 目标是使性能函数达到最小学习期 各神经元的连接权值固定 网络输入信号计算出网络的输出结果工作期神经元的模神经元的模型结构型结构神经网络的神经网络的拓扑结构拓扑结构神经网络的神经网络的学习算法学习算法神经网络的输出性能主要取决于：4.3.2 人工神经网络模型114.神经网络学习方式网络的输出有一个评价的标准，网络将实际输出和评价标准进行比较，由其误差信号决定连接权值的调整。有监督学有监督学习算法习算法只需给出一组输入，网络能够逐渐演变到对输入的某种模式做出特定的反应。无监督学无监督学习算法习算法)(0ku)(1ku)(kun)(kyiNN)(kdi)(kei)(0ku)(1ku)(kun)(k

8、yiNN 4.3.2 人工神经网络模型可避免数据的分析工作和建模工作非编程自适应的信息处理方式完成复杂的输入与输出非线性映射信息存贮与处理合二为一5.神经网络特点自自适应性适应性容错性容错性并行处理并行处理自组织性自组织性层次性层次性联想记忆联想记忆可塑性可塑性n神经网络计算特点神经网络计算特点 4.3.2 人工神经网络模型12 4.3.3 BP神经网络13输入层输入层隐含层隐含层输出层输出层 误差后向传播(Back-Propagation)神经网络模型，是采用BP算法的多层感知器神经网络。它是目前使用最广泛一类神经网络模型。除输入，输出层外，还有一个或多个隐层。各层之间的神经元全互连，各层内

9、的神经元无连接，网络无反馈。14 4.3.3 BP神经网络1.BP学习算法 输入层-隐含层-传输层 每一层神经元的状态只影响下层的神经元正向传播 输出层不能得到其期望输出情况下进行 误差沿原来的通路返回，改变权重值反向传播BP学习算法是对简单的 学习规则的推广和发展。)(0ku)(1ku)(kun)(kyi)(kdi)(0kwi)(1kwi)(kwni)(kei学习实质上就是一个典型的函数最优化过程。它利用梯度最速下降法，使权重值沿误差的负梯度方向改变。)()()(kwkEkwijij15 4.3.3 BP神经网络2.BP网络学习流程 4.3.3 BP神经网络163.BP网络优缺点优点全局逼近

10、，有较好的 泛化能力高度的非 线性映射，较好的容错性缺点收敛速度慢局部极小值问题隐节点个数选取问题新样例加入影响学习17基于条件概率的定义p(Ai|E)是在给定证据下的后验概率p(Ai)是先验概率P(E|Ai)是在给定Ai下的证据似然p(E)是证据的预定义后验概率iiiiiiii)p(AA|p(E)p(AA|p(Ep(E)p(AA|p(EE)|p(Ap(B)A)p(A)|p(Bp(B)B)p(A,B)|p(AA1A2A3A4A5A6E 4.3.4 贝叶斯网络1.贝叶斯规则贝叶斯网络：概率论 图论 4.3.4 贝叶斯网络2.贝叶斯网络 贝叶斯网络是基于概率概率推理过程的图形化图形化网络。它提供了

11、一种自然的表示因果信息的方法，用来发现数据间的潜在关系。iiinpaxPxxxP)|(),(2118例子例子P(C,S,R,W)=P(C)P(S|C)P(R|S,C)P(W|S,R,C)chain rule =P(C)P(S|C)P(R|C)P(W|S,R,C)since =P(C)P(S|C)P(R|C)P(W|S,R)since 4.3.4 贝叶斯网络2.贝叶斯网络19n 图分割，有向分割图分割，有向分割（D-separate,D-分割）分割）变量X和Y通过第三个变量Z间接相连的三种情况：阻塞阻塞(block)设Z为一节点集合，X和Y是不在Z中的两个节点。考虑X和Y之间的一条通路。如果满足

12、下面条件之一，则称被Z所阻塞：4.3.4 贝叶斯网络3.图分割与变量独立相关概念20定理定理（整体马尔科夫性）（整体马尔科夫性）设X和Y为贝叶斯网N中的两个变量，Z为N中一个不包含X和Y的节点集合。如果Z D-分割 X和Y，那么X和Y在给定Z时条件独立，即 4.3.4 贝叶斯网络3.图分割与变量独立相关概念XY|Zn 图分割，有向分割（图分割，有向分割（D-separate,D-分割）分割）D-分割是图论的概念，而条件独立是概率论的概念，所以定理揭示了贝叶斯网络图论侧面和概率论侧面之间的关系。如果X和Y之间的所有通路都被Z阻塞，则说Z有向分割(Directed separate)X和Y，简称

13、d-separate,d-分割。那么X和Y在给定Z时条件独立。2122 4.3.4 贝叶斯网络4.贝叶斯网络推理n 变量消元算法(Variable elimination)利用概率分解降低推理复杂度。使得运算局部化。消元过程实质上就是一个边缘化的过程 最优消元顺序：最大势搜索，最小缺边搜索23 4.3.4 贝叶斯网络4.贝叶斯网络推理团树（clique tree）是一种无向树，其中每一个节点代表一个变量集合，称为团(clique)。团树必须满足变量连通性，即包含同一变量的所有团所导出的子图必须是连通的。n团树传播算法利用步骤共享来加快推理的算法贝叶斯网络团树23 4.3.4 贝叶斯网络5.贝叶

14、斯网络基本思想及应用辅助智能决策 数据融合 模式识别 医疗诊断 文本理解 数据挖掘贝叶斯网络的应用领域贝叶斯网络的应用领域为了处理人工智能研究中的不确定性(uncertainty)问题。将概率统计应用于复杂领域进行不确定性推理和数据分析的工具。是一种系统地描述随即变量之间关系的工具。用概率论处理不确定性的主要优点是保证推理结果的正确性。24 4.3.5 贝叶斯神经网络1.基于贝叶斯理论的神经网络25l常规的神经网络面临的问题：常规的神经网络面临的问题：1.如何控制网络模型的复杂度。2.缺少对网络参数与网络输出进行置信区间估计的工具。l结合贝叶斯推断的神经网络：结合贝叶斯推断的神经网络：1.贝叶

15、斯方法解决了神经网络中超参数的设定和置信区间估计的问题。2.贝叶斯学习着眼于整个参数空间的概率分布，在理论上增加了网络的泛化能力。4.3.5 贝叶斯神经网络2.神经网络的贝叶斯学习26考虑有监督的神经网络模型考虑有监督的神经网络模型典型的前馈神经网络误差性能函数为均方差函数，假设误差函数为N样本总数样本总数 ei 误差误差增加网络权阈值的均方差修正后的误差性能函数Wi网络权值网络权值,超参数值超参数值 4.3.5 贝叶斯神经网络2.神经网络的贝叶斯学习27将,视为随机变量，则其后验分布为P(D|M)归一化因子称为超参数,的显著度。使,后验分布最大，只需似然函数 最大权阈值的后验分布 M网络结构

16、 w权值向量D样本数据集网络结构M已确定已知权值的先验分布P(w|,M)、样本数据集条件 4.3.5 贝叶斯神经网络2.神经网络的贝叶斯学习28无权值先验知识时，假设先验分布服从常见的高斯分布Zw()归一化因子权值先验分布求解权值先验分布求解其中 4.3.5 贝叶斯神经网络2.神经网络的贝叶斯学习29各样本数据是独立选择的，似然函数ZD()归一化因子似然函数求解似然函数求解其中可计算出值 4.3.5 贝叶斯神经网络2.神经网络的贝叶斯学习30由先验分布和似然函数可得权值的后验分布ZF()归一化因子权值后验分布求解权值后验分布求解其中上式与w无关，则最小化F(W)可以求得后验分布的最大值，此时所对应的权阈值即为所求 4.3.5 贝叶斯神经网络2.神经网络的贝叶斯学习31将之前求得的 带入，取对数，再求导确定超参数的值：设F(W)取最小值所对应的权阈值为 ,F(W)在 附近按泰勒公式展开，并忽略高次项可得有效的网络参数数目；N网络所有参数的数目wMPwMP 4.3.5 贝叶斯神经网络2.神经网络的贝叶斯学习32开始确定网络结构，初始化超参数，由先验分布对网络参数赋初值确定网络结构，初始化超参数，由先验分布对网络参数赋初值优化超参数,网络参数是否相同？YN网络模型是否相同？YN结束在给定超参数条件下通过最大化P(W|,A)推断出最可能的W优化超参数,