智能网联汽车环境感知系统课件.pptx

1、2022-8-31智能网联汽车环境感知系统智能网联汽车环境感知系统2022-8-322022-8-32 第 2 页智能网联汽车环境感知系统智能网联汽车环境感知系统2.1 环境感知的定义与组成环境感知的定义与组成2.2 环境感知传感器环境感知传感器2.3 道路识别道路识别2.4 车辆识别车辆识别2.5 行人识别行人识别2.6 交通标志识别交通标志识别2.7 交通信号灯识别交通信号灯识别2022-8-332022-8-33 第 3 页2022-8-342022-8-34 第 4 页2022-8-352022-8-35 第 5 页2.1 环境感知系统的定义与组环境感知系统的定义与组成成定义定义 环环

2、境感知境感知就是利用车载超声波传感器、毫米波雷达、激光雷就是利用车载超声波传感器、毫米波雷达、激光雷达、视觉传感器，以及达、视觉传感器，以及V2X通信技术等获取道路、车辆位置通信技术等获取道路、车辆位置和障碍物的信息，并将这些信息传输给车载控制中心，为智和障碍物的信息，并将这些信息传输给车载控制中心，为智能网联汽车提供决策依据，是能网联汽车提供决策依据，是ADAS实现的第一实现的第一步步2022-8-362022-8-362.1.1 环境感知的定义环境感知的定义2022-8-32022-8-372022-8-372.1.1 环境感知的定义环境感知的定义2022-8-3环境感知的对象主要有道路、

3、车辆、行人、各种障碍物、交通标志、交通信号灯等2022-8-382022-8-382.1.2 环境感知的组成环境感知的组成2022-8-32022-8-392022-8-392.1.2 环境感知的组成环境感知的组成2022-8-32022-8-3102022-8-3102.2 环境感知传感器环境感知传感器2.2.1 环境感知传感器的类型与配环境感知传感器的类型与配置置1.环境感知传感器的类型环境感知传感器的类型u超超声波传感器声波传感器u毫米波雷达毫米波雷达u激光雷达激光雷达u视觉传感器视觉传感器2022-8-32022-8-3112022-8-3112.2.1 环境感知传感器的类型与配置环境

4、感知传感器的类型与配置2022-8-32022-8-3122022-8-3122.2.1 环境感知传感器的类型与配置环境感知传感器的类型与配置 2.环境感知传感器的配置环境感知传感器的配置u环环境感知传感器主要有境感知传感器主要有超声波传感器超声波传感器、毫米波雷达毫米波雷达、激光雷达激光雷达、单单/双双/三目摄像头三目摄像头、环视摄像头环视摄像头等等2022-8-32022-8-3132022-8-3132.2.1 环境感知传感器的类型与配置环境感知传感器的类型与配置2022-8-32022-8-3142022-8-3142.2.1 环境感知传感器的类型与配置环境感知传感器的类型与配置202

5、2-8-32022-8-3152022-8-3152.2.1 环境感知传感器的类型与配置环境感知传感器的类型与配置 通用公司用于研究通用公司用于研究L4级自动驾驶技术的级自动驾驶技术的Boltsu5个个16线束激光雷线束激光雷达达u21个毫米波雷达个毫米波雷达u16个摄像头个摄像头2022-8-32022-8-3162022-8-3162.2.1 环境感知传感器的类型与配置环境感知传感器的类型与配置2022-8-32022-8-3172022-8-3172.2.1 环境感知传感器的类型与配置环境感知传感器的类型与配置 3.环境感知传感器的布局环境感知传感器的布局2022-8-32022-8-3

6、182022-8-3182.2.1 环境感知传感器的类型与配置环境感知传感器的类型与配置 4.环境感知传感器的融合环境感知传感器的融合2022-8-32022-8-3192022-8-3192.2.1 环境感知传感器的类型与配置环境感知传感器的类型与配置2022-8-32022-8-3202022-8-3202.2.1 环境感知传感器的类型与配置环境感知传感器的类型与配置2022-8-32022-8-3212022-8-3212.2.1 环境感知传感器的类型与配置环境感知传感器的类型与配置 图像级融合图像级融合是以是以视觉传感器视觉传感器为主体，将为主体，将毫米波雷达毫米波雷达输输出的整体信息

7、进行图像特征转化，然后与视觉系统的图像出的整体信息进行图像特征转化，然后与视觉系统的图像输出进行融输出进行融合合 目标级融合目标级融合是对是对视觉传感器视觉传感器和和毫米波雷达毫米波雷达输出进行综输出进行综合可信度合可信度加权加权，配合精度标定信息进行自适应的搜索匹配，配合精度标定信息进行自适应的搜索匹配后融合输后融合输出出 信号级融合信号级融合是对是对视觉传感器视觉传感器和和毫米波雷达毫米波雷达传出的数据传出的数据源进行融合。信号级别的融合数据损失最小，可靠性最高源进行融合。信号级别的融合数据损失最小，可靠性最高，但需要大量的运，但需要大量的运算算2022-8-32022-8-3222022

8、-8-3222.2.2超声波传感超声波传感器器定义定义u声声音以波的形式传播称为音以波的形式传播称为声波声波u频率大于频率大于20 000Hz的声波称为的声波称为超声波超声波u频率小于频率小于20Hz的声波称为的声波称为次声波次声波u频率为频率为2020 000Hz的声波就是人能够听见的声波的声波就是人能够听见的声波2022-8-32022-8-3232022-8-3232.2.2超声波传感超声波传感器器特点特点u探探测距离短，有盲区测距离短，有盲区u对色彩、光照度不敏感对色彩、光照度不敏感u对光线和电磁场不敏感对光线和电磁场不敏感u简单，体积小，成本低简单，体积小，成本低2022-8-320

9、22-8-3242022-8-3242.2.2超声波传感超声波传感器器测距原理测距原理2022-8-32022-8-3252022-8-3252.2.2超声波传感超声波传感器器类型类型u驻驻车辅助传感器车辅助传感器（UPA，PDC）15250cmu泊车辅助传感器泊车辅助传感器（APA，PLA）30500cm2022-8-32022-8-3262022-8-3262.2.2超声波传感超声波传感器器主要参数主要参数u测测量范围量范围：15500cmu测量精度测量精度：测量值与真实值的偏差测量值与真实值的偏差u波束角波束角：能量强度减小一半处的角度能量强度减小一半处的角度u工作频率工作频率：40kH

10、z左右左右u抗干扰性能抗干扰性能：噪声干扰反射回来的超声波，噪声干扰反射回来的超声波，2022-8-32022-8-3272022-8-3272.2.2超声波传感超声波传感器器应用应用u最最常见的是常见的是自动泊车辅助系统自动泊车辅助系统2022-8-32022-8-3282022-8-3282.2.2超声波传感超声波传感器器应用应用u前前视视摄像头摄像头、前置、前置毫米波雷达毫米波雷达和和12个个超声波传感器超声波传感器2022-8-32022-8-3292022-8-3292.2.3毫米波雷毫米波雷达达定义定义 工工作在毫米波频段的雷达。作在毫米波频段的雷达。毫米波毫米波是指长度为是指长度

11、为110mm的的电磁波，对应的频率为电磁波，对应的频率为30300GHz；主要用于自适应巡航主要用于自适应巡航控制系统、自动制动辅助系统、盲区监测系统、行人检测控制系统、自动制动辅助系统、盲区监测系统、行人检测等等2022-8-32022-8-3302022-8-3302.2.3毫米波雷毫米波雷达达特点特点u探探测距离远测距离远，250m以上以上u探测性能好探测性能好u响应速度快响应速度快u适应能力强适应能力强u抗干扰能力强抗干扰能力强p 覆盖区域呈扇形，有盲点区域覆盖区域呈扇形，有盲点区域p 无法识别交通标志无法识别交通标志p 无法识别交通信号无法识别交通信号2022-8-32022-8-3

12、312022-8-3312.2.3毫米波雷毫米波雷达达类型类型u按按工作原理分类工作原理分类：脉冲式脉冲式、调频式连续毫米波雷达调频式连续毫米波雷达u按探测距离分类按探测距离分类：短程（短程（200m）毫米波雷达）毫米波雷达u按频段分类按频段分类：24GHz、60GHz、77GHz和和79GHz毫米波雷达毫米波雷达2022-8-32022-8-3322022-8-3322.2.3毫米波雷毫米波雷达达类型类型 77GHz毫米波雷达与毫米波雷达与24GHz毫米波雷达相比具有以下不毫米波雷达相比具有以下不同同u（1）77GHz毫米波雷达毫米波雷达探测距离更远探测距离更远u（2）77GHz毫米波雷达的

13、毫米波雷达的体积更小体积更小u（3）77GHz毫米波雷达所需要的毫米波雷达所需要的工艺更高工艺更高u（4）77GHz毫米波雷达的毫米波雷达的检测精度更好检测精度更好u（5）77GHz毫米波雷达的毫米波雷达的射频芯片不容易获取射频芯片不容易获取2022-8-32022-8-3332022-8-3332.2.3毫米波雷毫米波雷达达测量原理测量原理 调调频式连续毫米波雷达频式连续毫米波雷达是利用是利用多普勒效应多普勒效应测量得出目标的测量得出目标的距距离离和和速速度度2022-8-32022-8-3342022-8-3342.2.3毫米波雷毫米波雷达达工作过程工作过程2022-8-32022-8-3

14、352022-8-3352.2.3毫米波雷毫米波雷达达布置布置 正正向布置向布置，与路面夹角的最大偏差不超过与路面夹角的最大偏差不超过5 侧向布置侧向布置，前，前45夹角，后夹角，后30夹角夹角 布置高度布置高度，500（满载）（满载）800 mm（空载）（空载）2022-8-32022-8-3362022-8-3362.2.3毫米波雷毫米波雷达达主要指标主要指标2022-8-32022-8-3372022-8-3372.2.3毫米波雷毫米波雷达达主要指标主要指标2022-8-32022-8-3382022-8-3382.2.3毫米波雷毫米波雷达达主要指标主要指标2022-8-32022-8-

15、3392022-8-3392.2.3毫米波雷毫米波雷达达应用应用u自自适应巡航控制系适应巡航控制系统统（找网上相关视频播放找网上相关视频播放）2022-8-32022-8-3402022-8-3402.2.3毫米波雷毫米波雷达达应用应用u前前向碰撞预警向碰撞预警系统系统2022-8-32022-8-3412022-8-3412.2.3毫米波雷毫米波雷达达应用应用u自自动制动辅助动制动辅助系统系统2022-8-32022-8-3422022-8-3422.2.3毫米波雷毫米波雷达达应用应用u盲盲区监测区监测系统系统2022-8-32022-8-3432022-8-3432.2.3毫米波雷毫米波雷

16、达达应用应用u自自动泊车辅助动泊车辅助系统系统2022-8-32022-8-3442022-8-3442.2.3毫米波雷毫米波雷达达应用应用u变变道辅助道辅助系统系统：盲区监测盲区监测、变道预警变道预警、后向碰撞预警后向碰撞预警2022-8-32022-8-3452022-8-3452.2.3毫米波雷毫米波雷达达应用应用u后后向碰撞预警向碰撞预警系统系统2022-8-32022-8-3462022-8-3462.2.3毫米波雷达毫米波雷达2022-8-32022-8-3472022-8-3472.2.4激光雷激光雷达达定义定义 激激光雷达光雷达是工作在是工作在光波频段光波频段的雷达，它利用光波

17、频段的电磁的雷达，它利用光波频段的电磁波先向目标发射探测信号，然后将其接收到的波先向目标发射探测信号，然后将其接收到的同波信号同波信号与与发发射信号射信号相比较，从而获得相比较，从而获得目标的位置目标的位置（距离、方位和高度）（距离、方位和高度）、运动状态运动状态（速度、姿态）等信息，实现对目标的探测、跟（速度、姿态）等信息，实现对目标的探测、跟踪和识踪和识别别2022-8-32022-8-3482022-8-3482.2.4激光雷激光雷达达定义定义2022-8-32022-8-3492022-8-3492.2.4激光雷激光雷达达特点特点u探探测范围广测范围广：可达可达300m以上。以上。u分

18、辨率高分辨率高：距离分辨率可达距离分辨率可达0.1m；速度分辨率能达到；速度分辨率能达到10m/s以内；角度分辨率不低于以内；角度分辨率不低于0.1mardu信息量丰富信息量丰富：探测目标的距离、角度、反射强度、速度等信探测目标的距离、角度、反射强度、速度等信息，生成目标多维度图像息，生成目标多维度图像u可全天候工作可全天候工作：不依赖于外界条件或目标本身的辐射特性不依赖于外界条件或目标本身的辐射特性p 与毫米波雷达相比，与毫米波雷达相比，产品体积大产品体积大，成本高成本高。p 不能识别不能识别交通标志和交通信号灯交通标志和交通信号灯2022-8-32022-8-3502022-8-3502.

19、2.4激光雷激光雷达达组成组成u激激光雷达系统光雷达系统由由收发天线收发天线、收发前端收发前端、信号处理模块信号处理模块、汽车汽车控制装置控制装置和和报警模块报警模块组成组成2022-8-32022-8-3512022-8-3512.2.4激光雷激光雷达达测距原理测距原理u脉脉冲测距法冲测距法2022-8-32022-8-3522022-8-3522.2.4激光雷激光雷达达测距原理测距原理u干干涉涉测距法测距法2022-8-32022-8-3532022-8-3532.2.4激光雷激光雷达达测距原理测距原理u相相位位测距法测距法2022-8-32022-8-3542022-8-3542.2.4

20、激光雷激光雷达达类型类型u机机械激光雷达：械激光雷达：带有控制激光发射角度的旋转部件，体积带有控制激光发射角度的旋转部件，体积较大，价格昂贵，测量精度相对较高，一般置于较大，价格昂贵，测量精度相对较高，一般置于汽车顶部汽车顶部2022-8-32022-8-3552022-8-3552.2.4激光雷激光雷达达类型类型u固固态激光雷达：态激光雷达：依靠电子部件来控制激光发射角度，无须依靠电子部件来控制激光发射角度，无须机械旋转部件，故尺寸较小，可安装于机械旋转部件，故尺寸较小，可安装于车体内车体内u激光雷达公司激光雷达公司Quanergy在在2016年发布的号称全球首款的固年发布的号称全球首款的固

21、态激光雷达态激光雷达S3，可以达到，可以达到厘米级精度厘米级精度，30Hz扫描频率，扫描频率，0.1的角分辨率的角分辨率2022-8-32022-8-3562022-8-3562.2.4激光雷激光雷达达类型类型u混混合固态激光雷达：合固态激光雷达：没有大体积旋转结构，采用固定激光没有大体积旋转结构，采用固定激光光源，通过内部光源，通过内部玻璃片旋转玻璃片旋转的方式改变激光光束方向，实的方式改变激光光束方向，实现多角度检测的需要，并且采用嵌入式安装现多角度检测的需要，并且采用嵌入式安装32线混合固态线混合固态Ultra Puck Auto；16线机械式线机械式VLP-162022-8-32022

22、-8-3572022-8-3572.2.4激光雷激光雷达达类型类型u单单线束激光雷达线束激光雷达u2D数据数据u只能测量距离只能测量距离2022-8-32022-8-3582022-8-3582.2.4激光雷激光雷达达类型类型u多多线束激光雷达线束激光雷达：4线束、线束、8线束、线束、16线束、线束、32线束、线束、64线线束束、128等，其细分可分为等，其细分可分为2.5D激光雷达及激光雷达及3D激光雷达激光雷达u2.5D：垂直视野范围一般不超过垂直视野范围一般不超过10u3D：可达到可达到30甚至甚至40以上以上2022-8-32022-8-3592022-8-3592.2.4激光雷激光雷

23、达达类型类型u奥奥迪迪A8为了实现为了实现L3级别的自动驾驶，在汽车的进气格栅下级别的自动驾驶，在汽车的进气格栅下布置了布置了4线束激光雷达线束激光雷达2022-8-32022-8-3602022-8-3602.2.4激光雷激光雷达达类型类型u美美国威力登（国威力登（Velodyne）公司开发的）公司开发的128线束激光雷达的探线束激光雷达的探测距离约是测距离约是HDL-64E的的3倍，达到倍，达到300m，分辨率则是，分辨率则是10倍倍，尺寸缩小了，尺寸缩小了70%。该产品是为。该产品是为L5级别自动驾驶而开发的级别自动驾驶而开发的2022-8-32022-8-3612022-8-36120

24、22-8-32022-8-3622022-8-3622.2.4激光雷激光雷达达主要指标主要指标（1）距离分辨率距离分辨率：是指两个目标物体可区分的最小距离是指两个目标物体可区分的最小距离（2）最大探测距离最大探测距离：通常需要标注基于某一个反射率下的通常需要标注基于某一个反射率下的测得值，例如白色反射体大概测得值，例如白色反射体大概70%反射率，黑色物体反射率，黑色物体7%20%反射率反射率（3）测距精度测距精度：是指对同一目标进行重复测量得到的距离是指对同一目标进行重复测量得到的距离值之间的误差范围值之间的误差范围（4）测量帧频测量帧频：测量帧频与摄像头的帧频概念相同，刷新测量帧频与摄像头的

25、帧频概念相同，刷新率越高，响应速度越快率越高，响应速度越快2022-8-32022-8-3632022-8-3632.2.4激光雷激光雷达达主要指标主要指标（5）数据采样率数据采样率：是指每秒输出的数据点数，等于帧率乘以是指每秒输出的数据点数，等于帧率乘以单幅图像的点云数目单幅图像的点云数目（6）角度分辨率角度分辨率：是指扫描的角度分辨率，等于视场角除以是指扫描的角度分辨率，等于视场角除以该方向所采集的点云数目该方向所采集的点云数目（7）视场角视场角：又分为垂直视场角和水平视场角，是激光雷达又分为垂直视场角和水平视场角，是激光雷达的成像范围的成像范围（8）波长波长：波长会影响雷达的环境适应性和

26、对人眼的安全性波长会影响雷达的环境适应性和对人眼的安全性2022-8-32022-8-3642022-8-3642.2.4激光雷激光雷达达主要指标主要指标 6.激光雷达的主要指标激光雷达的主要指标2022-8-32022-8-3652022-8-3652.2.4激光雷激光雷达达应用应用 IBEO LUX（4线束）激光雷达线束）激光雷达是德国是德国IBEO公司借助高分辨率公司借助高分辨率激光测量技术，推出的第一款多功能的汽车智能传感器。它激光测量技术，推出的第一款多功能的汽车智能传感器。它拥有拥有110的宽视角，的宽视角，0.3200m的探测距离，绝对安全的的探测距离，绝对安全的1等等级激级激光

27、光2022-8-32022-8-3662022-8-3662.2.4激光雷激光雷达达应用应用（1）行人保护行人保护：能检测能检测0.330m视场范围内所有的行人视场范围内所有的行人（2）自适应巡航控制系统的启和停自适应巡航控制系统的启和停：可在可在0200km/h的速度的速度范围内实现自动行驶范围内实现自动行驶（3）车道偏离预警车道偏离预警：可以检测车辆行驶前方的车道线标识和可以检测车辆行驶前方的车道线标识和潜在的障碍，同时也可以计算车辆在道路中的位置潜在的障碍，同时也可以计算车辆在道路中的位置（4）自动紧急制动自动紧急制动：实时检测车辆行驶前方的所有静止的和实时检测车辆行驶前方的所有静止的和

28、移动的物体，并且判断它们的外形，当要发生危险时，自动移动的物体，并且判断它们的外形，当要发生危险时，自动紧急制动紧急制动2022-8-32022-8-3672022-8-3672.2.4激光雷激光雷达达应用应用（5）预碰撞处理预碰撞处理：通过分析所有的环境扫描数据，不管即将通过分析所有的环境扫描数据，不管即将发生什么样的碰撞，会在碰撞发生前发生什么样的碰撞，会在碰撞发生前100ms发出警告发出警告（6）交通拥堵辅助交通拥堵辅助：消除频繁启停消除频繁启停，实现低速下的自动跟车，实现低速下的自动跟车和车道保持和车道保持（7）低速防碰撞功能低速防碰撞功能：在在30km/h下下，LUX（4线束）激光雷

29、线束）激光雷达检测并分析前方的路况，车辆会在发生碰撞前自动停达检测并分析前方的路况，车辆会在发生碰撞前自动停驶驶2022-8-32022-8-3682022-8-3682.2.4激光雷激光雷达达应用应用u（1）高精度电子地图和定位高精度电子地图和定位2022-8-32022-8-3692022-8-3692.2.4激光雷激光雷达达应用应用u（2）障碍物检测与识别）障碍物检测与识别2022-8-32022-8-3702022-8-3702.2.4激光雷激光雷达达应用应用u（3）可行空间检测）可行空间检测2022-8-32022-8-3712022-8-3712.2.4激光雷激光雷达达应用应用u（

30、4）障碍物轨迹预测）障碍物轨迹预测2022-8-32022-8-3722022-8-3722.2.5视觉传感视觉传感器器定义定义u视视觉传感器觉传感器主要由主要由光源光源、镜头镜头、图像传感器图像传感器、模模/数转换器数转换器、图像处理器图像处理器、图像存储器图像存储器等组成，其主要功能是获取足等组成，其主要功能是获取足够的机器视觉系统要处理的够的机器视觉系统要处理的原始图像原始图像2022-8-32022-8-3732022-8-3732.2.5视觉传感视觉传感器器定义定义u把把光源、摄像机、图像处理器、标准的控制与通信接口等光源、摄像机、图像处理器、标准的控制与通信接口等集成一体的视觉传感

31、器，常称为一个集成一体的视觉传感器，常称为一个智能图像采集与处理智能图像采集与处理单元单元2022-8-32022-8-3742022-8-3742.2.5视觉传感视觉传感器器特点特点u（1）信息量极为丰富信息量极为丰富：不仅包含有视野内物体的不仅包含有视野内物体的距离距离信息信息，而且还有该物体的，而且还有该物体的颜色颜色、纹理纹理、深度深度和和形状形状等信息等信息u（2）多任务检测多任务检测：在视野范围内可同时实现在视野范围内可同时实现道路道路检测、检测、车车辆辆检测、检测、行人行人检测、检测、交通标志交通标志检测、检测、交通信号灯交通信号灯检测等检测等u（3）实时实时获取场景获取场景信息

32、信息：提供的信息不依赖于提供的信息不依赖于先验知识先验知识，比如比如GPS导航依赖地图信息，有较强的导航依赖地图信息，有较强的适应环境的能力适应环境的能力2022-8-32022-8-3752022-8-3752.2.5视觉传感视觉传感器器特点特点u（4）应用广泛应用广泛：可以前视、后视、侧视、内视等可以前视、后视、侧视、内视等2022-8-32022-8-3762022-8-3762.2.5视觉传感视觉传感器器类型类型u单单目目u双目双目u三目三目u环视环视2022-8-32022-8-3772022-8-3772.2.5视觉传感视觉传感器器类型类型 3.视觉传感器的类型视觉传感器的类型20

33、22-8-32022-8-3782022-8-3782.2.5视觉传感视觉传感器器要求要求 视觉传感器工艺要求：视觉传感器工艺要求：u在在工艺上工艺上的首要特性是的首要特性是快速快速，以，以140km/h的速度为例，汽车的速度为例，汽车每秒要移动每秒要移动40m，为避免两次图像信息获取间隔期间自动为避免两次图像信息获取间隔期间自动驾驶的距离过长，要求摄像机具有最慢不低于驾驶的距离过长，要求摄像机具有最慢不低于30帧帧/秒的影秒的影像捕捉率，在汽车制造商的规格中，甚至提出了像捕捉率，在汽车制造商的规格中，甚至提出了60帧帧/秒和秒和120帧帧/秒的要求秒的要求2022-8-32022-8-379

34、2022-8-3792.2.5视觉传感视觉传感器器要求要求 视视觉传感觉传感器功能要求：器功能要求：u（1）高动态高动态：在较暗环境在较暗环境和和明暗差异较大下仍能实现识别明暗差异较大下仍能实现识别u（2）中低像素中低像素：为降低计算处理的负担，摄像头的像素并为降低计算处理的负担，摄像头的像素并不需要非常高，目前不需要非常高，目前30120万像素已经能满足要求万像素已经能满足要求u（3）角度要求角度要求：对于环视和后视摄像头，一般采用对于环视和后视摄像头，一般采用135以以上的广角镜头；前置摄像头一般采用上的广角镜头；前置摄像头一般采用55的范围的范围u（4）安全性安全性：相比工业级和生活级摄

35、像头，车载摄像头在相比工业级和生活级摄像头，车载摄像头在安全级别上要求更高，尤其是前置摄像头安全级别要求更高安全级别上要求更高，尤其是前置摄像头安全级别要求更高。2022-8-32022-8-3802022-8-3802.2.5视觉传感视觉传感器器要求要求u（5）温度要求温度要求：车载摄像头温度范围为车载摄像头温度范围为-4080u（6）防磁抗震防磁抗震：汽车启动时会产生极高的电磁，车载摄像汽车启动时会产生极高的电磁，车载摄像头必须具备极高的防磁抗震的可靠性头必须具备极高的防磁抗震的可靠性u（7）寿命长寿命长：寿命至少要在寿命至少要在810年才能满足要求年才能满足要求2022-8-32022-

36、8-3812022-8-3812.2.5视觉传感视觉传感器器主要指标主要指标（1）像素像素：像素越多，代表着它能够感测到更多的物体细像素越多，代表着它能够感测到更多的物体细节，从而图像就越清晰节，从而图像就越清晰（2）帧率帧率：帧率代表单位时间所记录或播放的图片的数量帧率代表单位时间所记录或播放的图片的数量（3）靶面尺寸靶面尺寸：就是图像传感器感光部分的大小。一般用就是图像传感器感光部分的大小。一般用英寸来表示，通常这个数据指的是这个图像传感器的对角线英寸来表示，通常这个数据指的是这个图像传感器的对角线长度，如常见的有长度，如常见的有1/3英寸，靶面越大，意味着通光量越好英寸，靶面越大，意味着

37、通光量越好，而靶面越小则比较容易获得更大的景深，而靶面越小则比较容易获得更大的景深2022-8-32022-8-3822022-8-3822.2.5视觉传感视觉传感器器主要指标主要指标（4）感光度感光度：代表入射光线的强弱。感光度越高，感光面代表入射光线的强弱。感光度越高，感光面对光的敏感度就越强，快门速度就越高对光的敏感度就越强，快门速度就越高（5）信噪比信噪比：是信号电压对于噪声电压的比值，典型值为是信号电压对于噪声电压的比值，典型值为4555dB，信噪比越大说明对噪声的控制越好，信噪比越大说明对噪声的控制越好（6）电子快门电子快门：用来控制图像传感器的感光时间，电子快用来控制图像传感器的

38、感光时间，电子快门越快，感光度越低，因此适合在强光下拍摄门越快，感光度越低，因此适合在强光下拍摄 2022-8-32022-8-3832022-8-3832.2.5视觉传感视觉传感器器功能功能 具具有有车道线车道线识别、识别、障碍物障碍物检测、检测、交通标志和地面标志交通标志和地面标志识别识别、交通信号灯交通信号灯识别、识别、可通行空间可通行空间检测等功能检测等功能2022-8-32022-8-3842022-8-3842.2.5视觉传感视觉传感器器应用应用u具具有车道线识别有车道线识别u障碍物障碍物识别识别u交通标志识别交通标志识别u交通信号灯识别交通信号灯识别u可行空间识别可行空间识别20

39、22-8-32022-8-3852022-8-3852.2.5视觉传感器视觉传感器2022-8-32022-8-3862022-8-3862.2.5视觉传感视觉传感器器应用应用 根根据不同据不同ADAS功能的需要，安装位置分为前视、后视、侧功能的需要，安装位置分为前视、后视、侧视以及内置摄像头。实现自动驾驶时将安装视以及内置摄像头。实现自动驾驶时将安装6个以上摄像头个以上摄像头2022-8-32022-8-3872022-8-3872.2.5视觉传感器视觉传感器2022-8-32022-8-3882022-8-3882.2.5视觉传感器视觉传感器2022-8-32022-8-3892022-8

40、-3892.3道路识道路识别别定义定义 真真实的道路通过实的道路通过激光雷达激光雷达转换成转换成汽车认识的道路汽车认识的道路，供自动驾，供自动驾驶汽车行驶；或通过驶汽车行驶；或通过视觉传感器视觉传感器识别出识别出车道线车道线，提供车辆在，提供车辆在当前车道中的位置，帮助智能网联汽车提高行驶的安全性。当前车道中的位置，帮助智能网联汽车提高行驶的安全性。2022-8-32022-8-3902022-8-3902.3.1道路识道路识别别的识别与分类的识别与分类 道道路识别的任务路识别的任务是提取车道的是提取车道的几何结构几何结构，如车道的宽度、车，如车道的宽度、车道线的曲率等；确定车辆在车道中的道线

41、的曲率等；确定车辆在车道中的位置位置、方向方向；提取车辆；提取车辆可行驶的区可行驶的区域域2022-8-32022-8-3912022-8-3912.3.1 道路识别的定义与分道路识别的定义与分类类分类分类 依依据道路类型的不同，道路分为据道路类型的不同，道路分为结构化道路结构化道路和和非结构化道路非结构化道路2022-8-32022-8-3922022-8-3922.3.2道路图像的特点道路图像的特点u阴影条件下的道路图像阴影条件下的道路图像p 先对道路的阴影进行检测和去除先对道路的阴影进行检测和去除2022-8-32022-8-3932022-8-3932.3.2道路图像的特点道路图像的特

42、点u强弱光照强弱光照条件下的道路图像条件下的道路图像p 强光照射强光照射p 弱光照射弱光照射2022-8-32022-8-3942022-8-3942.3.2道路图像的特点道路图像的特点u雨天雨天条件下的道路图像条件下的道路图像p 雨水对道路有覆盖雨水对道路有覆盖p 雨水能反光雨水能反光2022-8-32022-8-3952022-8-3952.3.2道路图像的特点道路图像的特点u弯道处弯道处的道路图像的道路图像p 建模上会有些复杂建模上会有些复杂p 可近似看成直线模型可近似看成直线模型2022-8-32022-8-3962022-8-3962.3.3道路识别的流程和方道路识别的流程和方法法流

43、程流程u采采集集原始图像原始图像图像灰度化图像灰度化图像滤波图像滤波图像二值化图像二值化车道车道线提取线提取2022-8-32022-8-3972022-8-3972.3.3道路识别的流程和方道路识别的流程和方法法流程流程2022-8-32022-8-3982022-8-3982.3.3道路识别的流程和方道路识别的流程和方法法方法方法u基基于于区域分割区域分割的识别方法的识别方法u基于基于道路特征道路特征的识别方法的识别方法u基于基于道路模型道路模型的识别方法的识别方法u基于基于道路特征与模型道路特征与模型相结合的识别方法相结合的识别方法2022-8-32022-8-3992022-8-399

44、车道线识别举例车道线识别举例 1.原始图像原始图像 I=imread(C:桌面桌面t.jpg);figure(1)imshow(I)title(原始图像原始图像)2022-8-32022-8-31002022-8-3100车道线识别举例车道线识别举例 2.图像图像灰度化灰度化 I1=rgb2gray(I);figure(2)imshow(I1)title(灰度图像灰度图像)2022-8-32022-8-31012022-8-3101车道线识别举例车道线识别举例 3.图像图像滤波滤波 I21=medfilt2(I1);%高斯滤波高斯滤波 I22=filter2(fspecial(average,

45、3),I21)/255;%平滑滤波平滑滤波 figure(3)imshow(I22)title(图像滤波图像滤波)2022-8-32022-8-31022022-8-3102车道线识别举例车道线识别举例 4.图像图像二值化二值化 I3=im2bw(I22);figure(4)imshow(I3)title(图像二值化图像二值化)2022-8-32022-8-31032022-8-3103车道线识别举例车道线识别举例 5.图像图像边缘检测边缘检测 I4=edge(I3,canny);figure(5)imshow(I4)title(图像边缘检测图像边缘检测)2022-8-32022-8-3104

46、2022-8-3104车道线识别举例车道线识别举例 6.霍夫变换霍夫变换 H,T,R=hough(I4);figure(6)imshow(H,XData,T,YData,R,InitialMagnification,fit)title(霍夫变换图像霍夫变换图像)xlabel(theta 轴轴)ylabel(rho 轴轴)axis on,axis normal hold on P=houghpeaks(H,2,threshold,ceil(0.3*max(H(:);x=T(P(:,2);y=R(P(:,1);plot(x,y,s,color,white)2022-8-32022-8-310520

47、22-8-3105车道线识别举例车道线识别举例 6.霍夫变换霍夫变换2022-8-32022-8-31062022-8-3106车道线识别举例车道线识别举例 7.车道线检测车道线检测 lines=houghlines(I4,T,R,P,FillGap,50,MinLength,50);figure(7)imshow(I4)title(车道线检测车道线检测)2022-8-32022-8-31072022-8-31072.4车辆识别车辆识别定义定义u车车牌识别牌识别就是利用就是利用摄像头摄像头对监控路面过往车辆的特征图像和对监控路面过往车辆的特征图像和车辆全景图像进行实时拍摄，利用图像处理的分析方

48、法，提车辆全景图像进行实时拍摄，利用图像处理的分析方法，提取出取出车牌区域车牌区域，进而对车牌区域进行，进而对车牌区域进行字符分割字符分割和和识别识别，从而，从而对车辆进行管理对车辆进行管理2022-8-32022-8-31082022-8-31082.4.1车牌识车牌识别别组成组成u摄摄像机像机u专用控制器专用控制器u显示屏显示屏u快速闸机快速闸机u计算机软硬件计算机软硬件等等2022-8-32022-8-31092022-8-31092.4.1车牌识车牌识别别流程流程u图图像采集像采集视频车辆检测视频车辆检测车牌定位车牌定位字符分割字符分割字符识别字符识别结果输出结果输出2022-8-32

49、022-8-31102022-8-31102.4.1车牌识车牌识别别方法方法u基基于于模板匹配模板匹配的字符识别算法的字符识别算法：速度快，实时性好：速度快，实时性好u基于基于特征的统计特征的统计匹配法匹配法：应用效果不理想，抗干扰性不强应用效果不理想，抗干扰性不强u基于基于边缘检测和水平灰度变化特征边缘检测和水平灰度变化特征的方法的方法：使用多：使用多u基于基于颜色相似度及彩色边缘颜色相似度及彩色边缘的算法的算法：一般不单独使用：一般不单独使用2022-8-32022-8-31112022-8-31112.4.1车牌识别车牌识别2022-8-32022-8-31122022-8-3112车牌

50、识别举例车牌识别举例1-1.读取原始图像读取原始图像2022-8-32022-8-31132022-8-3113车牌识别举例车牌识别举例1-2.转换成灰度图像转换成灰度图像2022-8-32022-8-31142022-8-3114车牌识别举例车牌识别举例1-3.边缘检测边缘检测2022-8-32022-8-31152022-8-3115车牌识别举例车牌识别举例1-4.图像腐蚀图像腐蚀2022-8-32022-8-31162022-8-3116车牌识别举例车牌识别举例1-5.图像膨胀图像膨胀2022-8-32022-8-31172022-8-3117车牌识别举例车牌识别举例1-6.提取车牌区域