《人工智能及其应用》课件第10章 视觉感知与识别.pptx

1、第第1010章章 视觉感知与识别视觉感知与识别 人类人类很容易让自己陷入对机器的依赖，以至于不得不接受一很容易让自己陷入对机器的依赖，以至于不得不接受一切都交给机器处理的现实。随着整个人类社会及其面临的问题越切都交给机器处理的现实。随着整个人类社会及其面临的问题越来越复杂，机器也将变得越来越智能。来越复杂，机器也将变得越来越智能。泰德卡钦斯基,199510.110.1图像生成图像生成10.110.1图像生成图像生成10.1.210.1.2透镜系统透镜系统 小孔小孔照相机的缺点在于我们需要一个尺寸小的小孔来确保图像聚焦，但照相机的缺点在于我们需要一个尺寸小的小孔来确保图像聚焦，但这个小孔越小，到

2、达图像平面的光子就会越少，意味着图像会很暗这个小孔越小，到达图像平面的光子就会越少，意味着图像会很暗。当当我们把小孔的尺寸放大时，确实能够获得更多的光子，但同时也会造我们把小孔的尺寸放大时，确实能够获得更多的光子，但同时也会造成运动模糊，场景中运动的物体在成像时会因为光子到达不同的地方而产生成运动模糊，场景中运动的物体在成像时会因为光子到达不同的地方而产生模糊的效应。模糊的效应。脊椎动物的眼晴和现代照相机都使用透镜系统。透镜要比小孔大得多，脊椎动物的眼晴和现代照相机都使用透镜系统。透镜要比小孔大得多，因此能够透过足够的光线。因此能够透过足够的光线。透镜系统拥有一个有限的景深。只能对一定距离（焦

3、平面）左右的物体透镜系统拥有一个有限的景深。只能对一定距离（焦平面）左右的物体清晰成像，在这个范围以外的物体成像时将超出图像平面，人眼系统可以通清晰成像，在这个范围以外的物体成像时将超出图像平面，人眼系统可以通过改变形状来调整焦平面，而在照相机中，则可以通过镜头的来回移动来改过改变形状来调整焦平面，而在照相机中，则可以通过镜头的来回移动来改变焦平面。变焦平面。10.110.1图像生成图像生成10.1.310.1.3光线和阴影光线和阴影 图像图像中一个像素的亮度可以看作这个像素代表的场景中物体点的亮度为中一个像素的亮度可以看作这个像素代表的场景中物体点的亮度为自变量的函数自变量的函数。假设假设这

4、是一个线性模型（现代照相机在极亮或极暗时表现为非线性，但这是一个线性模型（现代照相机在极亮或极暗时表现为非线性，但正常情况下均为线性）正常情况下均为线性）。10.110.1图像生成图像生成10.1.310.1.3光线和阴影光线和阴影 第一第一种引起亮度不同的原因是光线的整体强度。一个处于阴影（种引起亮度不同的原因是光线的整体强度。一个处于阴影（ShadowShadow）中的白色物体甚至可能暗于直接处于太阳光下的黑色物体，人眼可以很好地中的白色物体甚至可能暗于直接处于太阳光下的黑色物体，人眼可以很好地分辨相对亮度，从而判断出哪个为白色物体分辨相对亮度，从而判断出哪个为白色物体。第二第二种原因是场

5、景中不同的点对光的反射有多有少。通常情况是，人感种原因是场景中不同的点对光的反射有多有少。通常情况是，人感知这些点或明或暗，从而看到物体的纹理或斑纹知这些点或明或暗，从而看到物体的纹理或斑纹。第三第三种情况是面向光的面比偏离光源方向的面更亮，这称为明暗种情况是面向光的面比偏离光源方向的面更亮，这称为明暗（ShadingShading）效应。特别是，人们可说出这种明暗来自物体的几何状态，但有）效应。特别是，人们可说出这种明暗来自物体的几何状态，但有时候可能会将明暗与斑纹混淆。如颧骨下的灰暗化妆品看上去像阴影，从而时候可能会将明暗与斑纹混淆。如颧骨下的灰暗化妆品看上去像阴影，从而使得人脸看上去比真

6、实的瘦。使得人脸看上去比真实的瘦。10.110.1图像生成图像生成10.1.410.1.4色彩色彩 人人眼接收到的光集中在波长为眼接收到的光集中在波长为380750nm380750nm这个区域，主要通过三种颜色接这个区域，主要通过三种颜色接收细胞来区分不同的颜色，如收细胞来区分不同的颜色，如420nm420nm的蓝色，的蓝色，540nm540nm的绿色及的绿色及570nm570nm的红色。的红色。三原色三原色原则（原则（Principle of Principle of TrichromacyTrichromacy）说明无论一种颜色多么复杂，）说明无论一种颜色多么复杂，我们都可以通过三种颜色的

7、混合来构成一种与原颜色不能分辨的新颜色我们都可以通过三种颜色的混合来构成一种与原颜色不能分辨的新颜色。这这一原理说明我们的电视及计算机显示器可以仅仅关心三种基本的颜色一原理说明我们的电视及计算机显示器可以仅仅关心三种基本的颜色。物体物体表面的反射率可以化为表面的反射率可以化为R/G/BR/G/B的三个反射率，同样，任意光源也可以的三个反射率，同样，任意光源也可以看成是有看成是有R/G/BR/G/B三种光源所组成三种光源所组成。10.2.110.2.1边缘检测边缘检测10.2.110.2.1边缘检测边缘检测10.2.210.2.2纹理纹理 纹理纹理，在日常用语中，是对表面的视觉感觉，在日常用语中

8、，是对表面的视觉感觉，“纹理（纹理（Texture)Texture)”一词一词与与“纺织物纺织物(Textile)(Textile)具有相同的词根，在计算视觉中，它指的是在表面空具有相同的词根，在计算视觉中，它指的是在表面空间上重复出现的、能够通过视觉感觉到的模式间上重复出现的、能够通过视觉感觉到的模式。纹理纹理的实例包括建筑物上窗户的模式、汗衫上的针脚，美洲豹皮肤上的的实例包括建筑物上窗户的模式、汗衫上的针脚，美洲豹皮肤上的花斑、草地上一片一片的草、海滩上的卵石以及体育场中的人群花斑、草地上一片一片的草、海滩上的卵石以及体育场中的人群。10.2.310.2.3光流光流 当当图像中的物体在运动

9、或是我们的镜头在相对物体运动时，由此引起的图像中的物体在运动或是我们的镜头在相对物体运动时，由此引起的图像中的明显的运动我们称之为光流。光流描述了图像的运动方向和速度，图像中的明显的运动我们称之为光流。光流描述了图像的运动方向和速度，当然一幅图像中的车辆的速度不是用每小时多少公里而是用每秒钟多少像素当然一幅图像中的车辆的速度不是用每小时多少公里而是用每秒钟多少像素来描述来描述。如如图图10.4(a)10.4(a)和和(b)(b)显示的是一个视频中网球运动员的相邻两帧图像，从显示的是一个视频中网球运动员的相邻两帧图像，从(c)(c)中我们计算出的光流向量来看，球拍和运动员的前脚正在快速移动，注意

10、中我们计算出的光流向量来看，球拍和运动员的前脚正在快速移动，注意箭头方向是如何捕提球怕和前腿的运动的。箭头方向是如何捕提球怕和前腿的运动的。10.2.410.2.4图像分割图像分割 分割分割（SegmentationSegmentation）是指基于像素点的相似性将图像分解成若干区域）是指基于像素点的相似性将图像分解成若干区域的过程的过程。其其基本思想如下：每个图像像素都可以关联某些视觉特性，诸如亮度、基本思想如下：每个图像像素都可以关联某些视觉特性，诸如亮度、色彩和纹理。在一个物体中，或者是它的单独一部分中，这些属性的变化相色彩和纹理。在一个物体中，或者是它的单独一部分中，这些属性的变化相对

11、非常小，而穿过物体之间的边界时，典型情况下这些属性中的一个或多个对非常小，而穿过物体之间的边界时，典型情况下这些属性中的一个或多个会出现较大的变化。有两种方法可用于图像分割，种主要致力于检测这些区会出现较大的变化。有两种方法可用于图像分割，种主要致力于检测这些区域的边界，而另一种则致力于检测出区域本身，如图域的边界，而另一种则致力于检测出区域本身，如图10.510.5所示。所示。10.310.3基于外观的目标检测基于外观的目标检测 外观指的是一个物体看上去的情况。一些物体类，比如说棒球在外观上外观指的是一个物体看上去的情况。一些物体类，比如说棒球在外观上变化很小，在大部分的情形下这类物体看起来

12、基本一样。变化很小，在大部分的情形下这类物体看起来基本一样。可以计算一些描述包含这些物体的图像的特征，然后据此训练出分类器。可以计算一些描述包含这些物体的图像的特征，然后据此训练出分类器。用一个比较好的分类器来对各类物体进行训练比较重要，特别是对于看用一个比较好的分类器来对各类物体进行训练比较重要，特别是对于看着照相机的人脸来说，效果特别好，这是因为在低分辨率以及合适的关照情着照相机的人脸来说，效果特别好，这是因为在低分辨率以及合适的关照情况下，几乎所有的人脸看上去都差不多。况下，几乎所有的人脸看上去都差不多。10.410.4人脸识别人脸识别 人人脸识别是基于人的脸部特征信息进行身份识别的一种

13、生物识别技术，脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术，用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。人像识别、面部识别。10.4.110.4.1人脸库人脸库 利用利用公共人脸库演示人脸识别算法的原理和过程，目前有很多公共的人公共人脸库演示人脸识别算法的原理和过程，目前有很多公共的人脸数据库，以脸数据库，以olivettiolivetti人脸

14、库为例，该数据库也称人脸库为例，该数据库也称ORLORL人脸库，由英国剑桥大人脸库，由英国剑桥大学学AT&TAT&T实验室创建，包含实验室创建，包含4040人共人共400400张面部图像，每人包含张面部图像，每人包含1010幅经过归一化处幅经过归一化处理的灰度图像，图像尺寸均为理的灰度图像，图像尺寸均为112112（高或行）（高或行）9292（宽或列），图像背景为黑（宽或列），图像背景为黑色色。其中其中采集对象的面部表情和细节均有变化，例如笑与不笑、眼睛睁着或采集对象的面部表情和细节均有变化，例如笑与不笑、眼睛睁着或闭着以及戴或不戴眼镜等，不同人脸样本的姿态也有变化，其深度旋转和平闭着以及戴或

15、不戴眼镜等，不同人脸样本的姿态也有变化，其深度旋转和平面旋转可达面旋转可达2020度。度。10.4.110.4.1人脸库人脸库 利用利用公共人脸库演示人脸识别算法的原理和过程，目前有很多公共的人公共人脸库演示人脸识别算法的原理和过程，目前有很多公共的人脸数据库，以脸数据库，以olivettiolivetti人脸库为例，该数据库也称人脸库为例，该数据库也称ORLORL人脸库，由英国剑桥大人脸库，由英国剑桥大学学AT&TAT&T实验室创建，包含实验室创建，包含4040人共人共400400张面部图像，每人包含张面部图像，每人包含1010幅经过归一化处幅经过归一化处理的灰度图像，图像尺寸均为理的灰度图

16、像，图像尺寸均为112112（高或行）（高或行）9292（宽或列），图像背景为黑（宽或列），图像背景为黑色色。其中其中采集对象的面部表情和细节均有变化，例如笑与不笑、眼睛睁着或采集对象的面部表情和细节均有变化，例如笑与不笑、眼睛睁着或闭着以及戴或不戴眼镜等，不同人脸样本的姿态也有变化，其深度旋转和平闭着以及戴或不戴眼镜等，不同人脸样本的姿态也有变化，其深度旋转和平面旋转可达面旋转可达2020度。度。10.410.4人脸识别人脸识别10.4.2 10.4.2 最近邻方法最近邻方法 最近邻最近邻人脸识别算法在数学上的原理是将人脸图像矩阵拉直人脸识别算法在数学上的原理是将人脸图像矩阵拉直变成一个向量

17、，该向量可以看作是空间中的一个点，人脸库中所变成一个向量，该向量可以看作是空间中的一个点，人脸库中所有的人脸图像也就是空间上的点集合有的人脸图像也就是空间上的点集合。对于对于某一特定的人脸图像计算该图像对应的向量到人脸库中某一特定的人脸图像计算该图像对应的向量到人脸库中所有点的距离，如果与人脸库中的某一点的距离最小并且小于事所有点的距离，如果与人脸库中的某一点的距离最小并且小于事先给定一个阈值，则可以认为这两个人脸图像身份相同；如果该先给定一个阈值，则可以认为这两个人脸图像身份相同；如果该最小距离都大于给定阈值，则认为该人脸图像对应的身份非法。最小距离都大于给定阈值，则认为该人脸图像对应的身份

18、非法。10.410.4人脸识别人脸识别10.5 10.5 人脸识别系统人脸识别系统1.1.图像采集图像采集 人人脸图像通过摄像镜头采集得到，比如静态图像、动态图像、不同的位置、不脸图像通过摄像镜头采集得到，比如静态图像、动态图像、不同的位置、不同表情等方面都可以得到很好的采集。随着人工智能技术的发展，现在的大多摄像同表情等方面都可以得到很好的采集。随着人工智能技术的发展，现在的大多摄像机都是机都是AIAI摄像机，不再是单纯的照相功能，有的能够在照相时进行目标检测，自动摄像机，不再是单纯的照相功能，有的能够在照相时进行目标检测，自动对焦，甚至有成熟的产品能够完成以上一套人脸识别的流程，不需要额外

19、的计算机对焦，甚至有成熟的产品能够完成以上一套人脸识别的流程，不需要额外的计算机辅助，直接完成基于人脸识别的身份验证，实际上摄像机搭载上芯片之后很难区分辅助，直接完成基于人脸识别的身份验证，实际上摄像机搭载上芯片之后很难区分是计算机还是摄像机了。是计算机还是摄像机了。2.2.预处理预处理 图像图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性。一般的预处理流

20、程为：灰度化和识别的可靠性。一般的预处理流程为：灰度化 几何变换几何变换 图像增强。图像增强。10.5 10.5 人脸识别系统人脸识别系统 由于由于摄像机拍摄时，身体的倾斜，不同的拍摄距离等影响，人脸图像会不规则，因此需摄像机拍摄时，身体的倾斜，不同的拍摄距离等影响，人脸图像会不规则，因此需要对人脸图像做几何变换又称为图像空间变换，用于改正图像采集系统的系统误差和仪器位要对人脸图像做几何变换又称为图像空间变换，用于改正图像采集系统的系统误差和仪器位置（成像角度、透视关系乃至镜头自身原因）的随机误差置（成像角度、透视关系乃至镜头自身原因）的随机误差。此外此外，还需要使用灰度插值算法，因为按照这种

21、变换关系进行计算，输出图像的像素可，还需要使用灰度插值算法，因为按照这种变换关系进行计算，输出图像的像素可能被映射到输入图像的非整数坐标上。通常采用的方法有最近邻插值、双线性插值和双三次能被映射到输入图像的非整数坐标上。通常采用的方法有最近邻插值、双线性插值和双三次插值。插值。图像增强图像增强是增强人脸图像中的有用信息，它可以是一个失真的过程，其目的是要改善人是增强人脸图像中的有用信息，它可以是一个失真的过程，其目的是要改善人脸图像的视觉效果，有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰或脸图像的视觉效果，有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰或强调某些感

22、兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果，满足进一步特征提取的需要。改善图像质量、丰富信息量，加强图像判读和识别效果，满足进一步特征提取的需要。预处理预处理的三个过程在人脸图像处理中不是全部必须的，会根据需要和图像质量做适当的的三个过程在人脸图像处理中不是全部必须的，会根据需要和图像质量做适当的处理，一般而言，将彩色的人脸图像灰度化处理变成灰度图像都是必须的处理，一般而言，将彩色的人脸图像灰度化处理变成灰度图像都是必须的。10.5 10.

23、5 人脸识别系统人脸识别系统3 3.人人脸检测脸检测 人人脸检测，也就是在视频流的每一帧图像中找到人脸的位置。在这个过脸检测，也就是在视频流的每一帧图像中找到人脸的位置。在这个过程中，系统的输入是一张经过预处理之后的含有人脸的图片，输出是人脸位程中，系统的输入是一张经过预处理之后的含有人脸的图片，输出是人脸位置的矩形框，如图置的矩形框，如图10.910.9所示所示。人人脸检测应该可以正确检测出一幅图像中存在的所有人脸，不能有遗漏，脸检测应该可以正确检测出一幅图像中存在的所有人脸，不能有遗漏，也不能有错检，但是在身份验证时采集的图像一般是含有一张人脸也不能有错检，但是在身份验证时采集的图像一般是

24、含有一张人脸。人脸图像中包含的模式特征十分丰富，如直方图特征、颜色特征、模板人脸图像中包含的模式特征十分丰富，如直方图特征、颜色特征、模板特征、结构特征及特征、结构特征及HaarHaar特征等。人脸检测就是把这其中有用的信息挑出来，特征等。人脸检测就是把这其中有用的信息挑出来，并利用这些特征实现人脸检测。并利用这些特征实现人脸检测。主流的人脸检测方法基于以上特征采用主流的人脸检测方法基于以上特征采用AdaboostAdaboost学习算法，学习算法，AdaboostAdaboost算算法是一种用来分类的方法，它把一些比较弱的分类方法合在一起，组合出新法是一种用来分类的方法，它把一些比较弱的分类

25、方法合在一起，组合出新的很强的分类方法。的很强的分类方法。10.5 10.5 人脸识别系统人脸识别系统4.4.特征提取与模型训练特征提取与模型训练 特征提取特征提取是为了找到那些能够最大程度的区分不同人的人脸图像描述。是为了找到那些能够最大程度的区分不同人的人脸图像描述。在上一节中讨论的在上一节中讨论的PCAPCA降维也可以说是一种特征提取降维也可以说是一种特征提取。LBP LBP（Local Binary PatternLocal Binary Pattern）指局部二值模式，是一种用来描述图像局）指局部二值模式，是一种用来描述图像局部特征的算子，部特征的算子，LBPLBP特征具有灰度不变性

26、和旋转不变性等显著优点特征具有灰度不变性和旋转不变性等显著优点。它它是由是由T.T.OjalaOjala,M.PietikinenM.Pietikinen,和和D.HarwoodD.Harwood在在19941994年提出，由于年提出，由于LBPLBP特征计算简单、效果较好，因此特征计算简单、效果较好，因此LBPLBP特征在计算机视觉的许多领域都得到特征在计算机视觉的许多领域都得到了广泛的应用了广泛的应用。人人脸识别就是脸识别就是LBPLBP特征比较著名的应用，在计算机视觉开源库特征比较著名的应用，在计算机视觉开源库OpenCVOpenCV中有中有使用使用LBPLBP特征进行人脸识别的接口。特

27、征进行人脸识别的接口。10.5 10.5 人脸识别系统人脸识别系统5.5.识别识别 人人脸识别系统的识别过程就是对于待识别的视频流中的图像脸识别系统的识别过程就是对于待识别的视频流中的图像做同样的预处理、人脸检测、特征提取，利用训练过程所得到的做同样的预处理、人脸检测、特征提取，利用训练过程所得到的模型，对这些特征预测其对应的标签，或者做出识别失败的判断模型，对这些特征预测其对应的标签，或者做出识别失败的判断的过程的过程。在在实际的人脸识别应用系统中，利用一些稳定可靠的库来辅实际的人脸识别应用系统中，利用一些稳定可靠的库来辅助实现是非常普遍做法，典型的就是借助助实现是非常普遍做法，典型的就是借

28、助OpenCVOpenCV扩展库中提供了扩展库中提供了丰富的类及方法实现人脸的识别。丰富的类及方法实现人脸的识别。10.6.1 10.6.1 TensorflowTensorflow深度学习框架深度学习框架 TensorFlowTensorFlow是一个基于数据流编程（是一个基于数据流编程（Dataflow ProgrammingDataflow Programming）的符号数）的符号数学系统，被广泛应用于各类机器学习算法的编程实现，其前身是谷歌的神经学系统，被广泛应用于各类机器学习算法的编程实现，其前身是谷歌的神经网络算法库网络算法库DistBeliefDistBelief。Tensorf

29、lowTensorflow拥有多层级结构，可部署于各类服务器、拥有多层级结构，可部署于各类服务器、PCPC终端和网页并支终端和网页并支持持GPUGPU和和TPUTPU高性能数值计算，被广泛应用于谷歌内部的产品开发和各领域的高性能数值计算，被广泛应用于谷歌内部的产品开发和各领域的科学研究科学研究 。TensorFlowTensorFlow由谷歌人工智能团队谷歌大脑（由谷歌人工智能团队谷歌大脑（Google BrainGoogle Brain）开发和维护，）开发和维护，拥有包括拥有包括TensorFlowTensorFlow Hub Hub、TensorFlowTensorFlow Lite Li

30、te、TensorFlowTensorFlow Research Cloud Research Cloud在内的多个项目以及各类应用程序接口（在内的多个项目以及各类应用程序接口（Application Programming Application Programming Interface,APIInterface,API）。自自20152015年年1111月月9 9日起，日起，TensorFlowTensorFlow依据阿帕奇授权协议（依据阿帕奇授权协议（Apache 2.0 Apache 2.0 open source licenseopen source license）开放源代码。）

31、开放源代码。10.6.2 10.6.2 深度学习框架项目应用深度学习框架项目应用 Fashion Fashion MNISTMNIST数据集演示深度学习框架在该数据集数据集演示深度学习框架在该数据集上的训练预测上的训练预测效果。效果。Fashion MNISTFashion MNIST数据集旨在替代经典数据集旨在替代经典MNISTMNIST数据集数据集。MNIST MNIST数据集包含手写数字（数据集包含手写数字（0 0、1 1、2 2 等）的图像，等）的图像，其格式与将要使用的衣物图像的格式相同，但是其格式与将要使用的衣物图像的格式相同，但是Fashion Fashion MNISTMNIS

32、T数据集比常规数据集比常规MNISTMNIST更具挑战性更具挑战性。具体系统构建过程见程序具体系统构建过程见程序10.7 10.7 深度学习框架应用。深度学习框架应用。10.7 10.7 小结小结 视觉视觉信息占到感知信息的信息占到感知信息的90%90%以上，是智能系统获取信息的重要途经，本以上，是智能系统获取信息的重要途经，本章讨论了视觉感知中的图像生成以及图像生成中发生的一些物理和统计现象章讨论了视觉感知中的图像生成以及图像生成中发生的一些物理和统计现象。利用利用人工智能的手段检测和识别人脸，实现身份认证的人脸识别系统。人工智能的手段检测和识别人脸，实现身份认证的人脸识别系统。深度学习在视

33、觉处理中有很多成功的应用，最后也讨论了深度学习框架以及深度学习在视觉处理中有很多成功的应用，最后也讨论了深度学习框架以及其应用。其应用。深度深度学习框架的出现降低了人工智能深度学习入门的门槛，不需要从复学习框架的出现降低了人工智能深度学习入门的门槛，不需要从复杂的神经网络开始编代码，可以根据需要选择已有的模型，通过训练得到模杂的神经网络开始编代码，可以根据需要选择已有的模型，通过训练得到模型参数型参数。本章本章着重分析了着重分析了TensorflowTensorflow深度学习框架的工作原理，并应用到深度学习框架的工作原理，并应用到Fashion Fashion MNISTMNIST数据集，为人工智能工程应用打下基础。数据集，为人工智能工程应用打下基础。