深度学习在图像中的应用课件.pptx

1、第七章深度学习在图像中的应用of3117.1图像识别基础7.2基于深度学习的大规模图像识别7.3应用举例：人脸识别7.4应用举例：图像风格化习题7.5应用举例：图像标注7.1图像识别基础第七章 深度学习在图像中的应用of3121人眼和计算机的图像识别过程7.1图像识别基础第七章 深度学习在图像中的应用of313 对于一张自然场景图像，我们人眼看到的会是左边这张生动的图像；而对于计算机而言，看到的确是一堆枯燥的数字（这些数字对应的是图像各像素点的灰度等特征值）。如何在像素点的特征值和图像语义之间进行处理和关联是计算机进行图像识别的一大难题。2计算机对图像进行识别的难点第七章深度学习在图像中的应用

2、全国高校标准教材云计算姊妹篇，剖析深度学习核心技术和实战应用of3147.1图像识别基础7.2基于深度学习的大规模图像识别7.3应用举例：人脸识别7.4应用举例：图像风格化习题7.5应用举例：图像标注7.2基于深度学习的大规模图像识别第七章 深度学习在图像中的应用of3151大规模图像数据库:Imagenet ImageNet由美国斯坦福大学Li Fei-fei教授的研究团队提出，是一个很大规模的数据库，包含超过一千五百万具有标签的高清图像，这些图像可以分成约两万两千个类别。这些图像均从网络中采集而得；并使用亚马逊的“土耳其机器人”众包工具，集广大网民的力量手工标注获得图像对应的标签。7.2基

3、于深度学习的大规模图像识别第七章 深度学习在图像中的应用of3162AlexNet网络结构 AlexNet总共包含8个学习层：前5层是卷积层，最后3层是全连接层。在这5个卷积层中，第1、2、5层后面有最大值池化（Max pooling）层。7.2基于深度学习的大规模图像识别第七章 深度学习在图像中的应用of3173非线性激活函数ReLU AlexNet中，使用ReLU激活函数来替代Sigmoid激活函数。相比较于Sigmoid激活函数而言：（1）ReLU激活函数在大于0的部分梯度为常数，不会出现梯度弥散现象；（2）ReLU激活函数在小于0的部分梯度都为0，可以在一定程度上缓解过拟合现象的发生；

4、（3）ReLU激活函数的导数计算非常简单快速（3）ReLU激活函数的导数计算非常简单快速7.2基于深度学习的大规模图像识别第七章 深度学习在图像中的应用of3184.增加训练样本 增加训练样本，又称为数据增强（data augmentation），通过对图像进行变换人为地扩大训练数据集。该方法是减少过拟合现象的一个最容易和最普遍的方法。常见数据增强方法：1、随机裁剪和水平翻转；2、颜色调整7.2基于深度学习的大规模图像识别第七章 深度学习在图像中的应用of3195.dropout技术 在网络训练期间，dropout技术相当于是对整体神经网络进行子采样。具体实现方法为：以50%的概率将神经网络中

5、每一个隐层结点的输出设置为0，使之不参与前向传播和反向传播。第七章深度学习在图像中的应用全国高校标准教材云计算姊妹篇，剖析深度学习核心技术和实战应用of31107.1图像识别基础7.2基于深度学习的大规模图像识别7.3应用举例：人脸识别7.4应用举例：图像风格化习题7.5应用举例：图像标注7.3应用举例：人脸识别第七章 深度学习在图像中的应用of3111 在自然场景中进行自动人脸识别的经典流程一般分为以下三个步骤：人脸检测(face recognition)、人脸对齐(face alignment，又称作面部特征点对齐)、特征提取和分类器设计1人脸识别的经典流程7.3应用举例：人脸识别第七章

6、深度学习在图像中的应用of3112 LFW(Labeled Faces in the Wild)数据库是自然场景环境下人脸识别问题的测试基准，是目前用得最多的自然场景人脸图像数据库。该数据库中的图像来源于因特网，采集的是自然场景环境下的人脸图像，目的是提高自然场景环境下人脸识别的准确率。这个数据库包含5749个人，共13233幅图像。2人脸图像数据库7.3应用举例：人脸识别第七章 深度学习在图像中的应用of3113 DeepFace方法的贡献主要包括两点：一是基于3D模型对人脸进行对齐；二是使用大数据训练深层的人工神经网络，得到具有判别性的人脸特征。3基于深度学习的人脸识别方法第七章深度学习在

7、图像中的应用全国高校标准教材云计算姊妹篇，剖析深度学习核心技术和实战应用of31147.1图像识别基础7.2基于深度学习的大规模图像识别7.3应用举例：人脸识别7.4应用举例：图像风格化习题7.5应用举例：图像标注7.4应用举例：图像风格化第七章 深度学习在图像中的应用of31151内容重构 下图中所得到的五个内容重构结果分别基于VGG模型中的conv1_1 层(a)，conv2_1层(b)，conv3_1层(c)，conv4_1层(d)和 conv5_1层(e)。7.4应用举例：图像风格化第七章 深度学习在图像中的应用of31162风格重构 通过计算卷积神经网络在某一层各特征图之间的相关性对

8、图像的风格进行重构，可以得到一个相对应的风格表示图。为了生成与给定图的风格相匹配的纹理图像，Gatys等人首先初始化一个白噪声图像，接着使用梯度下降法来寻找与原图的风格表示相匹配的图像，得到在该层风格重构的生成图像。上页图中所得到的五个风格重构结果分别基于VGG模型中的conv1_1层(a)，conv1_1和conv2_1层(b)，conv1_1、conv2_1和conv3_1层(c)，conv1_1、conv2_1、conv3_1和conv4_1层(d)，conv1_1、conv2_1、conv3_1、conv4_1和conv5_1层(e)对风格表示进行匹配而得。7.4应用举例：图像风格化第

9、七章 深度学习在图像中的应用of31173内容与风格的重组 下图中第A行显示的是与VGG模型中conv1_1层风格重构相匹配的结果，第B行显示的是与VGG模型中conv1_1和conv2_1层风格重构相匹配的结果，第C行显示的是与VGG模型中conv1_1、conv2_1和conv3_1层风格重构相匹配的结果，第D行显示的是与VGG模型中conv1_1、conv2_1、conv3_1和conv4_1层风格重构相匹配的结果，第E行显示的是与VGG模型中conv1_1、conv2_1、conv3_1、conv4_1和conv5_1层风格重构相匹配的结果。和和第七章深度学习在图像中的应用全国高校标准

10、教材云计算姊妹篇，剖析深度学习核心技术和实战应用of31187.1图像识别基础7.2基于深度学习的大规模图像识别7.3应用举例：人脸识别7.4应用举例：图像风格化习题7.5应用举例：图像标注7.5应用举例：图像标注第七章 深度学习在图像中的应用of3119 图像标注是由计算机以说明或关键词的形式分配语言数据给一张图像的过程。1基于深度网络的图像标注方法概述图像标注流程7.5应用举例：图像标注第七章 深度学习在图像中的应用of3120 视觉和语义的对齐模型主要由三个部分组成2视觉语义对齐视觉表示语义表示视觉语义对齐 构造卷积神经网路（Convolution Neural Network，CNN）

11、，用于表示图像区域 构造双向循环神经网络（Bidirectional Recurrent Neural Networks），用于表示语句 构造结构化的目标函数，使用多模态嵌入方法将图像区域与语义进行对齐7.5应用举例：图像标注第七章 深度学习在图像中的应用of3121 假定我们有一些图像和相关语句描述的集合，这些集合可以是整幅的图像和相关的语句描述，也可以是图像区域和相关的语句片段。主要的挑战是设计一个模型，使之可以根据给定的新图像预测相对应的文本描述3为新图像生成对应文本描述多模态循环神经网络MRNN的流程图习题：1传统的图像识别由哪两个经典步骤组成？2传统的图像识别与基于深度学习的图像识别之间的主要区别是什么？3最早用于图像识别并取得突破性进展的深度网络是什么网络？它由多少卷积层和多少全连接层构成？4Sigmoid 激活函数和ReLU 激活函数的公式分别是什么？ReLU 激活函数具有哪些优点？5常用的数据增强方法有哪些？AlexNet 中使用了哪些数据增强方法？感谢聆听