基于卷积神经网络的交通标志检测26p课件.ppt

1、基于卷积神经网络的交通标志检测基于卷积神经网络的交通标志检测1. 论文目录及整体框架论文目录及整体框架数值仿真传播模型论文框架论文结论致谢134625稳定性分析图图像像预处预处理理研研究背景及意究背景及意义义论论文框架文框架网络训练网络训练及及测试测试结结果分析及致果分析及致谢谢1462/135交通交通标标志及卷志及卷积网络积网络介介绍绍232.1 研究的背景及存在的问题研究的背景及存在的问题随着随着科学技术的快速发展，智能交通及无人驾驶的出现已经成为了不可避免的趋势。挡在智能交通进入人类生活上的一道难题便是交通标志的检测与识别。对于交通标志识别，前人已做了很多的研究并取得了一定的研究成果。而

2、标志的检测仍存在很大的提升空间，需要我们在现有算法的基础不断改进，也迫切需要新算法的提出。如何提高在复杂的真实场景中交通标志的准确检测，如何提高检测分割、特征提取、分类算法的处理速度，如何使得所采用的技术以及开发的系统具有广泛的适用性与实际使用价值等，成为许多交通标志检测研究领域急需解决的问题2.2 系统研究的意义系统研究的意义（1）它是驾驶辅助系统及无人驾驶智能车的不可缺少的一部分它是驾驶辅助系统及无人驾驶智能车的不可缺少的一部分。实时交通标志检测系统通过对行驶过程中前方道路出现的实时交通标志检测系统通过对行驶过程中前方道路出现的交通标志图像进行及时采集和准确检测，然后把检测结果通过交通标志

3、图像进行及时采集和准确检测，然后把检测结果通过视频或者语音方式传递给司机以辅助驾驶，以达到自动驾驶的视频或者语音方式传递给司机以辅助驾驶，以达到自动驾驶的目的目的（2 2）有利于交通管理部门对交通标志的管理和维护。）有利于交通管理部门对交通标志的管理和维护。通过对比检测出的交通标志和标准交通标志库，交通部门通过对比检测出的交通标志和标准交通标志库，交通部门可以有效地对发生损坏的标志进行修复，节省了大量的人力和可以有效地对发生损坏的标志进行修复，节省了大量的人力和时间。时间。 2.3 本论文的解决方案本论文的解决方案u针对检测过程中的路标模糊及背景复杂等不同的干针对检测过程中的路标模糊及背景复杂

4、等不同的干扰因素，本论文采用深度学习方法中的卷积神经网扰因素，本论文采用深度学习方法中的卷积神经网络结构，大量的训练数据样本充分包含了各种环境络结构，大量的训练数据样本充分包含了各种环境下的路标，同时网络训练时采用较多的循环次数，下的路标，同时网络训练时采用较多的循环次数，让网络学会各种路标结构的特征信息。让网络学会各种路标结构的特征信息。u针对多目标及干扰物过多的图像，我们采用选择搜针对多目标及干扰物过多的图像，我们采用选择搜索算法，从而能很好的分割出包含路标的区域。索算法，从而能很好的分割出包含路标的区域。u在路标训练图像的预处理阶段，我们对各类图像采在路标训练图像的预处理阶段，我们对各类

5、图像采用彩色图像直方图均衡化，很大程度上减弱了光照用彩色图像直方图均衡化，很大程度上减弱了光照及阴影对路标识别过程中的干扰。及阴影对路标识别过程中的干扰。3.1 基本交通标志的介绍基本交通标志的介绍本文检测的交通标志主要分为三大类：本文检测的交通标志主要分为三大类：u 警告标志：警告司机、车辆及行人要小心危险目标的标志。它们的形状为等边警告标志：警告司机、车辆及行人要小心危险目标的标志。它们的形状为等边三角形，颜色大多为黄底、黑边、黑图案；三角形，颜色大多为黄底、黑边、黑图案；u 禁令标志：为环境中的某种限制因素而对车辆司机加以禁止的标志。禁令标志禁令标志：为环境中的某种限制因素而对车辆司机加

6、以禁止的标志。禁令标志的颜色一般为白底，红圈，红杠，黑图案；的颜色一般为白底，红圈，红杠，黑图案；u 指示标志：用以规定车辆和行人的行驶方向集地点。形状可分为长方形、圆形指示标志：用以规定车辆和行人的行驶方向集地点。形状可分为长方形、圆形和正方形，颜色大多为蓝底、白图案。和正方形，颜色大多为蓝底、白图案。3.2 卷积神经网络的介绍（卷积神经网络的介绍（1）u卷积神经网络（卷积神经网络（CNN）是由一个结构化的）是由一个结构化的BP网络复杂化而网络复杂化而来的，通过共享权值和结构重组，卷积计算等将特征提取功来的，通过共享权值和结构重组，卷积计算等将特征提取功能融合进多层感知机，能融合进多层感知机

7、，CNN具有三个显著特征：具有三个显著特征：（1）局域感受野是指每一网络层的神经元只与上一层的一个）局域感受野是指每一网络层的神经元只与上一层的一个小邻域内的神经元连接，通过局域感受野，神经元可以提取小邻域内的神经元连接，通过局域感受野，神经元可以提取初级的视觉特征；初级的视觉特征；（2）权值共享是指同一个特征图中的神经元共用相同的权值）权值共享是指同一个特征图中的神经元共用相同的权值，使得卷积神经网络具有更少的参数；，使得卷积神经网络具有更少的参数；（3）次采样可以减少了特征图的分辨率，从而减少对位移，）次采样可以减少了特征图的分辨率，从而减少对位移，缩放和扭曲的敏感度；缩放和扭曲的敏感度；

8、3.2 卷积神经网络的介绍（卷积神经网络的介绍（2）卷积神经网络主要分为输入层，卷积层，采样层及全连接层卷积神经网络主要分为输入层，卷积层，采样层及全连接层uinput layer；uconvolution layer；usubsampling layer；ufull connection layer；4 交通标志的预处理交通标志的预处理u网络训练及检测时的图像数网络训练及检测时的图像数据都需要一定的大小及格式据都需要一定的大小及格式，这样才能充分利用卷积神，这样才能充分利用卷积神经网络来实现准确率更高的经网络来实现准确率更高的路标检测。路标检测。u预处理部分主要包括图像分预处理部分主要包括图

9、像分割，图像大小归一化及彩色割，图像大小归一化及彩色图像直方图均衡化，基本流图像直方图均衡化，基本流程如图所示：程如图所示：4 交通标志的预处理交通标志的预处理稳态分析论文结论致谢论文框架传播模型 数值仿真稳态分析论文结论致谢论文框架原始图像 10/13数值仿真S(t)S(t)I(t)I(t)4 交通标志的预处理交通标志的预处理稳态分析论文结论致谢论文框架传播模型 数值仿真图像分割论文结论致谢论文框架原始图像 11/13数值仿真S(t)S(t)I(t)I(t)u得到初始化的小区域得到初始化的小区域u计算相邻区域的相似度计算相邻区域的相似度u把相似度最高的区域合把相似度最高的区域合并，然后再重新

10、计算合并，然后再重新计算合并区域和相邻区域的相并区域和相邻区域的相似度似度u反复循环这些步骤，直反复循环这些步骤，直到整个图片被当成一个到整个图片被当成一个单独的区域单独的区域4 交通标志的预处理交通标志的预处理稳态分析论文结论致谢论文框架传播模型 数值仿真图像分割论文结论致谢论文框架原始图像 12/13数值仿真S(t)S(t)I(t)I(t) 分割得到的图像，特征性的选了分割得到的图像，特征性的选了5张张4 交通标志的预处理交通标志的预处理稳态分析论文结论致谢论文框架传播模型 数值仿真稳态分析致谢论文框架原始图像 13/13大小归一化S(t)S(t)I(t)I(t) 这里将分割后的图像归一化

11、为这里将分割后的图像归一化为48*48大小的图像大小的图像4 交通标志的预处理交通标志的预处理稳态分析论文结论致谢论文框架传播模型 数值仿真稳态分析直方图均衡化致谢论文框架原始图像 14/13S(t)S(t)I(t)I(t) 由于原始图像为彩色图由于原始图像为彩色图像，这里直方图均衡化时像，这里直方图均衡化时是将原始图像是将原始图像RGB三通道三通道分别均衡化，然后再合并分别均衡化，然后再合并 Src =imread(picture); R = histeq (; , ; , 1); G = histeq (; , ; , 2); B = histeq (; , ; , 3); Newpict

12、ure = cat(3,R,G,B);5.1 网络的结构网络的结构u采用的网络结构如上所示，共有采用的网络结构如上所示，共有9层。层。5.1 网络的结构网络的结构u每层的作用，核函数及每层的作用，核函数及map大小和数量大小和数量如上表所示如上表所示 layer typemaps & nerons kernel 0input1 map of 48*48 neurons1convolutional100 maps of 46*46 neurons3*32max pooling100 maps of 32*32 neurons2*23convolutional150 maps of 20*20 n

13、eurons4*44max pooling150 maps of 10*10 neurons2*25convolutional250 maps of 8*8 neurons3*36max pooling250 maps of 4*4 neurons2*27fully connected200 neurons8fully connected2 neurons5.2 网络训练的参数网络训练的参数网络训练的具体参数如下：网络训练的具体参数如下：u train_net: traffic_detection_train.prototxtu test_net: traffic_detection_test

14、.prototxtu test_iter: 100u test_interval: 5000u base_lr: 0.01u weight_decay: 0.0005u display: 100u max_iter: 30000u snapshot: 5000u snapshot_prefix: trafficu solver_mode: 15.3 网络训练及测试的流程图网络训练及测试的流程图网络训练的网络训练的 结构图结构图5.3 网络训练及测试的流程图网络训练及测试的流程图网络测试的网络测试的 结构图结构图网络训练一网络训练一u正样本：正样本：39209 标签：标签：1 GTSCB (al

15、l)u负样本：负样本：23296 标签：标签：0 GTSDB (从从1-10张图片中截取的负样本张图片中截取的负样本)ubatch :100uepoch:30000u每每5000epoch保存一下训练过程中得到的参数保存一下训练过程中得到的参数u时间：时间：27小时小时检测结果一检测结果一u 检测图片检测图片1：分割为：分割为1184个小块，其中背景个小块，其中背景1180个，路标图像个，路标图像3个个背景背景路标路标背景背景9751路标路标2053u由以上结果表明，网络的检测结果虚警率为由以上结果表明，网络的检测结果虚警率为17.37%，明显太高。对照着那些本为负样本而检测为正样本的图明显太

16、高。对照着那些本为负样本而检测为正样本的图片发现，大多偏向黑色路标的负样本都误检测为正样本片发现，大多偏向黑色路标的负样本都误检测为正样本网路训练二网路训练二 鉴于上次的讨论分析，这次最主要的改变是对所鉴于上次的讨论分析，这次最主要的改变是对所有样本进行彩色图像直方图均衡化。有样本进行彩色图像直方图均衡化。u 正样本：正样本：39210 标签：标签：1 GTSCB（all）u 负样本：负样本：37115 标签：标签：0 GTSDB(从从1-100中提中提取的负样本，且过滤掉取的负样本，且过滤掉selective提取的图片中尺寸大于提取的图片中尺寸大于200的图片的图片)u batch :100

17、u epoch:40000u 时间：时间：28小时小时检测结果二检测结果二u 共获得了共获得了1184个小图像，其中背景图像有个小图像，其中背景图像有1180个，路标图像有个，路标图像有4个个背景背景路标路标背景背景11621路标路标183u结果表明：网络的检测结果虚警率为结果表明：网络的检测结果虚警率为1.52%，已经提，已经提高了很多。但同时有一个正样本被误检测为背景图像，高了很多。但同时有一个正样本被误检测为背景图像，对照着检测图像库中的这张图像发现。原来是选择搜索对照着检测图像库中的这张图像发现。原来是选择搜索算法分割时，这张图像由于轮廓受周围环境干扰太大，算法分割时，这张图像由于轮廓

18、受周围环境干扰太大，分割后路标的轮廓没有被包含进去，失真比较大，所以分割后路标的轮廓没有被包含进去，失真比较大，所以检测错误。检测错误。6.1 结果分析结果分析u对比训练一和训练二，彩色图像直方图均衡化以后，虚警对比训练一和训练二，彩色图像直方图均衡化以后，虚警率会明显降低，说明图像中彩色及亮度特征会包含很大信率会明显降低，说明图像中彩色及亮度特征会包含很大信息量。息量。u测试二中测试二中4个路标图像中始终有一个路标漏检了。发现选个路标图像中始终有一个路标漏检了。发现选择搜索算法分割时，路标的圆形轮廓没有完全的被分割出择搜索算法分割时，路标的圆形轮廓没有完全的被分割出来。这说明两个问题，一是我

19、们训练的网络确实学到了一来。这说明两个问题，一是我们训练的网络确实学到了一些特征信息，至少样本轮廓是学到了；二是训练之前的图些特征信息，至少样本轮廓是学到了；二是训练之前的图像分割特别重要，分割的好坏会直接影响后来的训练及测像分割特别重要，分割的好坏会直接影响后来的训练及测试结果。试结果。u通过结果发现，该方法的虚警率仍比较高，这成为通过结果发现，该方法的虚警率仍比较高，这成为将此结果应用到智能驾驶上一个很大的阻碍。将此结果应用到智能驾驶上一个很大的阻碍。u本检测的输出结果只是显示图片中是否存在路标，本检测的输出结果只是显示图片中是否存在路标，没有给出路标存在的没有给出路标存在的ROI，是本论

20、文的一大不足。，是本论文的一大不足。之后我也会在此基础上继续改进，把路标具体的之后我也会在此基础上继续改进，把路标具体的ROI可视化出来。可视化出来。6.2 本论文的不足与后续工作本论文的不足与后续工作u大学本科的学习生活即将结束。在此，我大学本科的学习生活即将结束。在此，我要感谢所有曾经教导过我的老师和关心过要感谢所有曾经教导过我的老师和关心过我的同学，他们在我成长过程中给予了我我的同学，他们在我成长过程中给予了我很大的帮助。本文能够顺利完成，要特别很大的帮助。本文能够顺利完成，要特别感谢我的导师齐老师，同时感谢各位答辩感谢我的导师齐老师，同时感谢各位答辩老师的批评和宝贵意见。老师的批评和宝贵意见。u最后向所有关心和帮助过我的人表示真心最后向所有关心和帮助过我的人表示真心的感谢。的感谢。6.3 致谢致谢