第七章-图像识别分析课件.ppt

1、数字图像处理学数字图像处理学王素玉王素玉 7.1 概论概论7.2 图像匹配图像匹配7.3 基于最小错误率贝叶斯决策理论基于最小错误率贝叶斯决策理论7.4 线性判别函数线性判别函数7.5 人工神经网络人工神经网络7.6 图像识别示例图像识别示例运用模式识别的原理对图像对象进行分类的学问。运用模式识别的原理对图像对象进行分类的学问。图像识别图像识别 7.1 概论概论1.模式识别的基本定义模式识别的基本定义 （1）模式模式(pattern)A、事物所具有的时间或空间分布信息。（狭义）、事物所具有的时间或空间分布信息。（狭义）B、描绘子的组合。（更狭义）、描绘子的组合。（更狭义）（2）模式识别模式识别

2、(Pattern Recognition)进行物体分类的学科。进行物体分类的学科。举例：人日常生活中的模式识别举例：人日常生活中的模式识别 一维信息：例如声音信号，腾格尔的歌声。一维信息：例如声音信号，腾格尔的歌声。二维信息：例如图像信号，数字照相机拍摄的照片。二维信息：例如图像信号，数字照相机拍摄的照片。三维信息：三维信息：CT重建图像。重建图像。多维信息：多维信息：（3）模式类模式类(pattern class)一个拥有某些共同特性的模式族。一个拥有某些共同特性的模式族。2 模式识别系统模式识别系统（1）信息的获取）信息的获取 通过传感器，将光或声等信息转化为电信息。通过传感器，将光或声等

3、信息转化为电信息。（2）预处理：）预处理：A、信号增强：去除噪声，加强有用信息。、信号增强：去除噪声，加强有用信息。信号恢复：对退化现象进行复原。信号恢复：对退化现象进行复原。B、归一化处理、归一化处理 （例如图像大小的归一化；（例如图像大小的归一化；神经网络输入数据的归一化）神经网络输入数据的归一化）3 模式识别的基本问题模式识别的基本问题（1）特征如何提取？）特征如何提取？-特征产生特征产生（2）最有效的特征是哪些特征？）最有效的特征是哪些特征？-特征选择特征选择（3）对特定任务，如何设计分类器？）对特定任务，如何设计分类器？-分类器设计分类器设计（4）分类器设计后，如何评价分类器？分类错

4、误率是多少？）分类器设计后，如何评价分类器？分类错误率是多少？-分类器评价分类器评价模式模式传感器传感器 特征产生特征产生 特征选择特征选择分类器设计分类器设计分类器评价分类器评价设计流程设计流程4 模式识别方法的分类模式识别方法的分类（1）监督与非监督模式识别）监督与非监督模式识别 A、监督模式识别、监督模式识别 利用先验知识和训练样本来设计分类器。利用先验知识和训练样本来设计分类器。B、非监督模式识别、非监督模式识别 利用特征向量的相似性来自动进行分类。利用特征向量的相似性来自动进行分类。（2）其他分类方法）其他分类方法 A、统计模式识别、统计模式识别 依据决策理论而进行模式识别的方法。依

5、据决策理论而进行模式识别的方法。包括贝叶斯决策理论、判别函数、近邻法等。包括贝叶斯决策理论、判别函数、近邻法等。B、聚类模式识别、聚类模式识别 C、神经网络模式识别、神经网络模式识别 D、结构模式识别（句法模式识别）、结构模式识别（句法模式识别）5 预备知识预备知识（1 1）特征）特征 用于分类的测度。用于分类的测度。（2）特征向量）特征向量 由多个特征组成的向量。由多个特征组成的向量。=(X1,X2,Xn)T（3）分类器）分类器 把特征空间划分为不同类别区域的把特征空间划分为不同类别区域的“机器机器”。7.2 图像匹配图像匹配 1 定义定义 根据已知模式到另一幅图中寻找相应的模式根据已知模式

6、到另一幅图中寻找相应的模式。2 基于相关的模板匹配基于相关的模板匹配 10210102101010),(),(),(),(),(KkJjKkJjKkJjkjtkyjxfkyjxfkjtyxR3、基于误差平方和的模板匹配、基于误差平方和的模板匹配 10102),(),(),(JjKkkjtkyjxfyxD4、特征模板匹配、特征模板匹配5、特征匹配特征匹配 WjmxxDWjxNmjjxjjj,2,1)(,2,117.3 基于最小错误率贝叶斯决策理论基于最小错误率贝叶斯决策理论 1 贝叶斯公式贝叶斯公式（1）概率：某事件发生的几率。）概率：某事件发生的几率。（2）先验概率）先验概率 在实际的事件没有

7、出现之前，我们所拥有的该事件可能在实际的事件没有出现之前，我们所拥有的该事件可能出现的概率。出现的概率。举例：（举例：（1）扑克牌：大王，）扑克牌：大王，K。（2）硬币：正面，反面。）硬币：正面，反面。问题：是否可以提高押对的概率，减少押错的概率？问题：是否可以提高押对的概率，减少押错的概率？除先验概率外，必须利用其他的信息。除先验概率外，必须利用其他的信息。（3）类条件概率密度）类条件概率密度 细胞识别：正常细胞细胞识别：正常细胞1 异常细胞异常细胞2 光密度特征：光密度特征：x 类条件概率密度类条件概率密度p(x|)：类别状态为类别状态为时时x的概率密度函数。的概率密度函数。)(1xP)(

8、2xPx条件概率密度分布)(ixP（4）贝叶斯公式）贝叶斯公式 A、P(j,x)=P(x|j)P(j)（总体；类）（总体；类）举例：举例：P(1)=0.4，P(2)=0.6,P(x=12|1)=0.15，P(x=12|2)=0.35 则：则：P(1,x=12)=0.15*0.4 P(2,x=12)=0.35*0.6 B、P(j,x)=P(j|x)P(x)贝叶斯公式的物理含义：贝叶斯公式的物理含义：通过观察通过观察x的值，就可以把先验概率转化为后验概率，的值，就可以把先验概率转化为后验概率，即特征值即特征值x已知的情况下类别属于已知的情况下类别属于j的概率的概率。)()()()()()()()(

9、21两类时（后验概率）jjjiiiPxPxPxPPxPxP C、贝叶斯公式、贝叶斯公式2、基于最小错误率的贝叶斯决策、基于最小错误率的贝叶斯决策（1）决策规则（两类情况）决策规则（两类情况）)(1xP)(2xPx2.04.06.08.00.1后验概率分布)(xPi2112212112212122112121)()(ln)()(ln)(D)()()()(C)()()()(B)()(AxPPxPxPxgxPPxPxPxPxPPxPxxPxP、（2）判决的误差概率判决的误差概率 这时错误率最小。当当为这时错误率则二类问题：若21122121),(),()().(,),()(xxPxxPxePxPxx

10、PxP7.4 线性判别函数线性判别函数1 问题的引入问题的引入 （1）Bayes决策尽管是决策尽管是最优最优决策，但实现困难。决策，但实现困难。A、类条件概率密度的形式常难以确定。、类条件概率密度的形式常难以确定。B、非参数方法需要大量样本。、非参数方法需要大量样本。（2）模式识别的任务是分类，可根据样本集直接）模式识别的任务是分类，可根据样本集直接 设计判别函数。（设计判别函数。（次优的次优的）2 线性判别函数的基本概念线性判别函数的基本概念 （1）线性判别函数的一般表达式：）线性判别函数的一般表达式：ddTwwwwxxxxwxwxg21210)(（举例）（举例）（2）决策规则）决策规则，则

11、拒绝或任意类则，则，0)(0)(0)(21xgxxgxxg7.5 人工神经网络人工神经网络 人工神经网络是对生物神经网络的简单模拟。人工神经网络是对生物神经网络的简单模拟。1 生物神经网络生物神经网络（1）复杂多样性）复杂多样性 生物神经网络复杂多样，不仅在于神经元和突触的数量大、组生物神经网络复杂多样，不仅在于神经元和突触的数量大、组合方式复杂和联系广泛，还在于突触传递的机制复杂。已经发合方式复杂和联系广泛，还在于突触传递的机制复杂。已经发现的传递机制有突触后兴奋、突触后抑制、突触前兴奋、突触现的传递机制有突触后兴奋、突触后抑制、突触前兴奋、突触前抑制，远程前抑制，远程“抑制抑制”。（2）生

12、物神经计算六个基本特征）生物神经计算六个基本特征 神经元及其联接：多输入，一输出；神经元及其联接：多输入，一输出；神经元之间的联接强度决定信号传递的强弱；神经元之间的联接强度决定信号传递的强弱；神经元之间的联接强度可以通过训练改变；神经元之间的联接强度可以通过训练改变；信号可以起刺激作用，也可以起抑制作用；信号可以起刺激作用，也可以起抑制作用；神经元接受信号的累积决定该神经元的状态；神经元接受信号的累积决定该神经元的状态；每个神经元可以有一个每个神经元可以有一个“阈值阈值”。2 人工神经网络人工神经网络 人工神经网络人工神经网络Artificial Neural Networks（ANN）是对

13、人）是对人类大脑系统的一阶特性的一种描述，是一个数学模型，可以类大脑系统的一阶特性的一种描述，是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。能研究的一种方法。（1）人工神经元模拟生物神经元的一阶特性）人工神经元模拟生物神经元的一阶特性 输入：输入：X=（x1，x2，xn）联接权：联接权：W=（w1，w2，wn）T 网络输入：网络输入：y=（xi*wi）=XW 激励函数：激励函数：f 输出：输出：o（2）激活函数）激活函数 激活函数激活函数(Activation Function)执行对该神执行对该神

14、经元所获得的网络输入的变换：经元所获得的网络输入的变换：o=f（y）A、线性函数（、线性函数（Liner Function）f（y）=ky+c B、非线性斜波函数、非线性斜波函数(Ramp Function)C、阈值函数（阈值函数（Threshold Function）阶跃函数）阶跃函数 D、S形函数形函数Sigmoid（3）三层前馈神经网络）三层前馈神经网络 （BP神经网络模型：神经网络模型：Back-propagation）（可以逼近任意函数（可以逼近任意函数）x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxn 由教师对每一种输入模式设定一个期望输出值。由教师对每一种输入模式设定

15、一个期望输出值。对网络输入实际的学习记忆模式，并由输入层经中间层向输对网络输入实际的学习记忆模式，并由输入层经中间层向输出层传播（称为出层传播（称为“模式顺传播模式顺传播”）。实际输出与期望输出的）。实际输出与期望输出的差即是误差。差即是误差。按照误差平方最小这一规则，由输出层往中间层逐层修正联按照误差平方最小这一规则，由输出层往中间层逐层修正联结权值，此过程称为结权值，此过程称为“误差逆传播误差逆传播”。随着随着“模式顺传播模式顺传播”和和“误差逆传播误差逆传播”过程的交替反复进行，过程的交替反复进行，网络的实际输出逐渐向各自所对应的期望输出逼近，网络对网络的实际输出逐渐向各自所对应的期望输

16、出逼近，网络对输入模式的响应的正确率也不断上升。输入模式的响应的正确率也不断上升。7.5 深度学习深度学习 20062006年，加拿大多伦多大学教授、机器学习领域的泰斗年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Geoffrey HintonHinton在在科学科学上发表论文提出深度学习主要观点：上发表论文提出深度学习主要观点：1 1）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；数据有更本质的刻画，从而有利于可视化或分类；2 2）深度神经网络在训练上的难度

17、，可以通过）深度神经网络在训练上的难度，可以通过“逐层初始化逐层初始化”（layer-layer-wise pre-trainingwise pre-training）来有效克服，逐层初始化可通过无监督学习实）来有效克服，逐层初始化可通过无监督学习实现的。现的。动 机为什么要自动学习特征 机器学习中，获得好的特征是识别成功的关键 目前存在大量人工设计的特征，不同研究对象特征不同，特征具有多样性，如：SIFT,HOG,LBP等 手工选取特征费时费力，需要启发式专业知识，很大程度上靠经验和运气 是否能自动地学习特征？动 机为什么要自动学习特征一般而言，特征越多，给出信息就越多，识别准确性会得到提升

18、；一般而言，特征越多，给出信息就越多，识别准确性会得到提升；但特征多，计算复杂度增加，探索的空间大，可以用来训练的数据在但特征多，计算复杂度增加，探索的空间大，可以用来训练的数据在每个特征上就会稀疏。每个特征上就会稀疏。结论：不一定特征越多越好！需要有多少个特征，需要学习确定。结论：不一定特征越多越好！需要有多少个特征，需要学习确定。动动 机机为什么采用层次网络结构为什么采用层次网络结构 人脑视觉机理 1981年的诺贝尔医学奖获得者 David Hubel和TorstenWiesel发现了视觉系统的信息处理机制 发现了一种被称为“方向选择性细胞的神经元细胞，当瞳孔发现了眼前的物体的边缘，而且这

19、个边缘指向某个方向时，这种神经元细胞就会活跃动动 机机为什么采用层次网络结构为什么采用层次网络结构 人脑视觉机理人脑视觉机理 人的视觉系统的信息处理是分人的视觉系统的信息处理是分级的级的 高层的特征是低层特征的组合高层的特征是低层特征的组合，从低层到高层的特征表示越，从低层到高层的特征表示越来越抽象，越来越能表现语义来越抽象，越来越能表现语义或者意图或者意图 抽象层面越高，存在的可能猜抽象层面越高，存在的可能猜测就越少，就越利于分类测就越少，就越利于分类动动 机机为什么采用层次网络结构为什么采用层次网络结构视觉的层次性视觉的层次性属性学习，类别作为属性的一种组合映射属性学习，类别作为属性的一种

20、组合映射 Lampert et al.CVPR09 Lampert et al.CVPR09类别标签类别标签属性属性图像特征图像特征动动 机机为什么采用层次网络结构为什么采用层次网络结构 特征表示的粒度特征表示的粒度 具有结构性（或者语义）的高具有结构性（或者语义）的高层特征对于分类更有意义层特征对于分类更有意义动动 机机为什么采用层次网络结构为什么采用层次网络结构 初级（浅层）特征表示高层特征或图像，往往是由一些基本结构（浅层特征）组成的高层特征或图像，往往是由一些基本结构（浅层特征）组成的动动 机机为什么采用层次网络结构为什么采用层次网络结构 结构性特征表示结构性特征表示动动 机机为什么采

21、用层次网络结构为什么采用层次网络结构 浅层学习的局限浅层学习的局限 人工神经网络（BP算法）虽被称作多层感知机，但实际是种只含有一层隐层节点的浅层模型 SVM、Boosting、最大熵方法（如LR，Logistic Regression）带有一层隐层节点（如SVM、Boosting），或没有隐层节点（如LR）的浅层模型局限性：有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受限。深度学习 本质：通过构建多隐层的模型和海量训练数据（可为无标签数据），来学习更有用的特征，从而最终提升分类或预测的准确性。“深度模型”是手段，“特征学习”是目的。与浅层学习区别：1）强调了模

22、型结构的深度，通常有5-10多层的隐层节点；2）明确突出了特征学习的重要性，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。深度学习 好处：可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示。深度学习 vs.神经网络神经网络：深度学习：深度学习 vs.神经网络相同点：相同点：二者均采用分层结构，系统包括输入层、隐层（多层）、输出层组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接，每一层可以看作是一个logistic 回归模

23、型。不同点：不同点：神经网络：采用BP算法调整参数，即采用迭代算法来训练整个网络。随机设定初值，计算当前网络的输出，然后根据当前输出和样本真实标签之间的差去改变前面各层的参数，直到收敛；深度学习：采用逐层训练机制。采用该机制的原因在于如果采用BP机制，对于一个deep network（7层以上），残差传播到最前面的层将变得很小，出现所谓的gradient diffusion（梯度扩散）。水果的识别四部分：数码图片的获取，图像的彩色边缘检测、图像的分割图象的颜色特征和形状特征提取图像的分类识别。选择研究的目标物香蕉，西红柿，梨和青椒四种果蔬。功能：使机器具有一定的视觉功能，能够认识“记忆”中的水

24、果。例如：当接受到命令是香蕉时，就可以自动地将香蕉拿出来。水果原始图像水果原始图像 颜色空间的转换 为了正确使用颜色，需要建立颜色空间。颜色空间是对彩色的一种描述方法，它有很多种类型，如：RGB，CMY，YIQ，YUV，HSL等。RGB是使用较普遍的颜色空间，由于显示器采用此模型，因此，算法的执行速度较快。HSL：是由色调（H）,饱和度（S）和亮度（L）三个颜色分量组 成的一类颜色空间，是面向用户的一种复合主观感觉的颜色空间，通常用于选择颜色，更接近人对颜色的感知。图（a）,图（b），图（c）分别表示彩色水果图像的R,G,B分量，将三图组合起来都可得到原始图像。图（图（a）图（图（b）图（图（

25、c）图（d）,图（e）,图（f）分别为其H,S,V分量。将三图组合起来都可得到原始图像。图中H和S分量图看起来与V分量图很不相同，这说明H,S,V三分量间的差别比R,G,B间的大。图（图（d）图（图（e）图（图（f）彩色边缘和彩色边缘检测 边缘是图像的一个基本特征，携带了图像中的大量信息，边缘检测不仅能得到关于边界的有用的结构信息，而且还能极大地减少要处理的数据，很多图像处理和识别算法都以边缘检测为重要基础。边缘按其颜色特征可分为灰度边缘和彩色边缘。灰度图像可由图像亮度函数来描述，灰度边缘可以定义为图像亮度函数的具有边缘特征的不连续点的集合，它描述了灰度函数的局部突变。彩色图像可由图像色彩函数

26、来描述，彩色边缘可以定义为图像色彩函数的具有边缘特征的不连续点的集合，它描述了色彩函数的局部突变。长期以来人们主要致力于灰度边缘的研究并取得了很好的效果。但彩色边缘能比灰度图像提供更多的信息。有研究表明，彩色图像中，大约有90的边缘与灰度图像中的边缘相同，也就是说，有 10的边缘在灰度图像中是检测不到的。因此，彩色边缘的检测受到越来越多的重视。彩色边缘检测的方法 输出融合法 分别对红，绿，蓝三个颜色通道（或其他颜色空间分量）执行边缘检测，最后的输出是这三幅边缘图像的合成 阈值阈值RGB边缘边缘_R边缘边缘_G边缘边缘_B边缘图像边缘图像彩色边缘检测的方法多维梯度法将三个梯度结合成一个，只需检测

27、一次边缘，从而缩短了整个彩色边缘检测的过程 R多维梯度多维梯度计算计算GB边缘图像边缘图像阈值阈值彩色边缘检测的方法以上两种彩色边缘检测算法中常用的梯度算子有罗伯特交叉（Robert cross）算子，蒲瑞维特（Prewitt）和索贝尔（Sobel）算子。其中，索贝尔算子是效果较好的一种，并且可以直接应用于彩色图像的各个颜色通道。边缘提取使用索贝尔算子得到的边缘图像 取反后的边缘图像取反后的边缘图像 4数学形态学处理上图的二值边缘图像描述了色彩函数的局部突变，从图中看出，边缘不很连续和光滑，并且在高细节区存在琐细边缘，难以形成一个大区域，这两点恰是限制边缘检测在图像分割中应用的两大难点。数学形

28、态学是一种应用于图像处理和模式识别领域的新的方法。基本思想：利用“探针”收集图像的信息。当探针在图像中不断移动时，便可考察图像各个部分间的相互关系，从而了解图像各部分的结构特征。作为探针的结构元素，可直接携带知识（形态，大小，以及灰度和色度信息）来探测所研究图像的结构特点%轮廓变模糊轮廓变模糊形态学处理步骤第一步：构造结构元素（%即形状等）第二步：利用构造的结构元素对图像进行膨胀操作第三步：区域填充第四步：连通区域标记第五步：选择对象与原始图像相比，我们看到在边缘图像中存在一些细小的间隙，根据数学形态学原理，如果构造结构元素对图像进行膨胀操作，这些小间隙就会消失。因此，我们在水平和竖直两个方向

29、分别构造结构元素：（%水平方向）se0=(1 1 1 1 1 1 1 1 1 1)（%垂直方向）se90=(1 1 1 1 1 1 1 1 1 1 1)膨胀处理膨胀处理后区域填充膨胀运算后，图像的边缘得到了很好的描述然而，在目标物的内部，仍然存在一些空洞，可通过区域填充消除空洞 区域填充后区域填充后标记连通区域为了能够更加清楚的观察分割结果，我们对上图中的连通区域进行标记，并且用不同的颜色显示 从图中可以看出，共得到四部分分割区域，并分别用红色，黄色，深蓝色和蓝绿色表示出来 对象提取在二值图像中，对象是指值为1且连接在一起的像素的集合。根据上图中不同目标物的不同坐标，提取出特定的连通区域，选择

30、特定的对象 分别显示出只含有一个对象的二值图像分别显示出只含有一个对象的二值图像 特征提取形状特征颜色特征形状特征图像经过边缘提取和图像分割等操作，就会得到边缘和区域，也就是获得了目标的形状。任何物体的形状特征均可由其几何属性（如长度、面积、距离、凹凸等），统计属性（如投影）和拓扑属性（如连通、欧拉数）来进行描述72可以用来表示形状的特征包括几何特征和矩特征。可供选择的几何特征有：周长、面积、偏心率、欧拉数、角点、横轴长度和纵轴长度。矩特征有质心、方向、主轴关于方向的矩、不变矩和特征矩等。本例识别目标物较少，因此不必选择过多特征，我们只选择了面积，横轴长两个特征，并用图像分析得到的特征值建立了

31、一个小型的特征库 颜色特征 由于颜色特征具有旋转不变性和尺度不变性，因而，在图象识别技术，颜色是使用最广泛的特征之一。而颜色特征的提取是利用颜色特征进行图象识别的关键之一。目前，大部分系统都采用颜色比例分布作为颜色基本特征，这就是图象领域中的直方图法。(a)（b）(c)（d）图图(a)(d)分别为香蕉，青椒，梨和西红柿的直方分别为香蕉，青椒，梨和西红柿的直方图图横轴为色调横轴为色调Hue，纵轴为，纵轴为H（p）。）。相似度量 颜色特征提取后，如何用数值来有效的表示图像在颜色上的相似程度，这便是相似度量问题相似度量也是直接影响识别效果的重要环节，在模式识别技术中，特征的相似度量均采用距离法，即特征的相似程度用特征向量的空间距离来表示 识别结果经过彩色边缘检测，图像分割和特征提取，对分割后的图像进行模式匹配，并制作出用户界面，最终实现图像的分类和识别。当按下界面上的控制按钮时，计算机会自动识别出相应的水果。例如：按下按钮“梨”时，界面上就会显示出梨。按下按钮“关闭”，界面关闭。最终效果图 （a）原始图像原始图像 (b)梨梨2022-8-5北京工业大学嵌入式软件与系统研究所北京工业大学嵌入式软件与系统研究所The end!78