自动驾驶地图的技术研究发展之路课件.pptx

1、自自动驾驶地图的动驾驶地图的技术研究技术研究发展之路发展之路提 纲3S集成与智能交通综述12自动驾驶研究背景智能驾驶与地图技术3移动测量45智能驾驶技术的应用场景提 纲3S集成与智能交通综述12自动驾驶研究背景智能驾驶与地图技术3移动测量45智能驾驶技术的应用场景基本概念3S集成：GNSS、GIS和RS有机结合智能交通系统：ITS（Intelligent Transportation System）是将先进的信息技术、计算机技术、数据通信技术、传感器技术、电子控制技术、自动控制理论、运 筹学、人工智能等有效地综合运用于交通运输、服务控制和车辆制造，加强车 辆、道路、使用者三者之间的联系，从而形

2、成一种保障安全、提高效率、改善 环境、节约能源的综合运输系统。ITS包括：车辆控制子系统车辆控制子系统：辅助驾驶员驾驶（ADAS）或智能汽车(IV)交通监控子系统交通监控子系统：给驾驶员和交通管理人员提供道路及交通状况 运营运营车辆调度管理子系统车辆调度管理子系统：实现驾驶员与调度管理中心之间的双向通讯 旅行信息子系统旅行信息子系统：提供交通参与各方各种交通信息3S集成技术是集成技术是ITS技术的核心基础技术的核心基础 8 LOGO我国城市交通的特点我国城市交通乱象混行、低速、高密度落后的交通管理与控制“安全、便捷、高效、绿安全、便捷、高效、绿色色”的交通仍是十三五发展目标的交通仍是十三五发展

3、目标测绘技术与交通需求3S集成与智能交通（小学科+大行业）导航与位置服务移动测量（MMS）智能驾驶机器人切入点地图数据采集与更新问题典 型 应 用3S场景 结 合提 纲3S集成与智能交通综述12自动驾驶研究背景智能驾驶与地图技术3移动测量45智能驾驶技术的应用场景自动驾驶定义也可简称“无人驾驶”，或“智能驾驶”。利用车载传感器感知车辆周围环境，并根据感知所获得的道路、车辆姿态和障碍物信息，控制车辆的转向和速度，从而使得车辆能 够安全、可靠地在道路上行驶。涵盖了涵盖了电子信息、自动控制电子信息、自动控制、计算计算机机、地、地理理信信息息、人、人工工智智能能等等 多门学科，是当今世界前沿热多门学科

4、，是当今世界前沿热点点研究研究方方向向。2007 年年Science将智能驾驶车辆评为将智能驾驶车辆评为：未来未来15年内年内20个个 超乎想象发明之一。超乎想象发明之一。欧洲的一项研究表欧洲的一项研究表明明:汽车驾驶员只要在有碰撞危汽车驾驶员只要在有碰撞危险险的的0.5s 前得到前得到“预警预警”,就可以避就可以避免至少免至少60%的追尾撞车事故、的追尾撞车事故、30%的迎面撞车事故和的迎面撞车事故和50%的路面相关事故的路面相关事故;若有若有1s 的的“预警预警”时间时间,则可避免则可避免90%的事故发生。的事故发生。美国研究认为美国研究认为,包括智能汽车研究在内包括智能汽车研究在内的的智

5、能运智能运输输系统系统对对国家国家社社会经济会经济和和交通交通运运输的影输的影 响响,可能会超过洲际高速公路。它可能会超过洲际高速公路。它的的意义意义和和价值在价值在于于:大幅度提高公路的通行能力大幅度提高公路的通行能力,至少使至少使 现有高速公路的交通量增加现有高速公路的交通量增加1 倍倍;大量减少公路交通堵塞、大量减少公路交通堵塞、拥拥挤挤,降低汽车油耗降低汽车油耗,可使城市交可使城市交 通堵塞和拥挤造成的损失分通堵塞和拥挤造成的损失分别别减减少少25%40%左右左右,大大提高了公路交通的安大大提高了公路交通的安全全性。性。优化土地资源，提高运优化土地资源，提高运输输效效率率,促使交通运输

6、业繁荣发促使交通运输业繁荣发展。展。研究背景与意义研究背景与意义“智能驾驶”与人工智能 何谓人工智能Artificial Intelligence（AI）学术定义 研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一 门新的技术科学。技术科学 计算机科学的一个分支，揭示智能的本质与表现形式。应用实现 提供一种能与人类智能相似的方式做出反应的智能系统。代表作：机器人、语言识别、图像识别、自然语言处理和专家系统等。技术实质 对人的意识、思维的信息过程的模拟。能像人那样思考，也可超过人的智能。13/20人工智能、机器学习与深度学习的关系 人工智能（Artificial Intell

7、igence）为机器赋予人的智能 强人工智能（General Intelligence）：完美的人工智能 弱人工智能（Narrow Intelligence）：简单的人工智能图像分类、人脸识别、特征提取 一种实现人工智能的方法 机器学习（Machine Learning）理论本质使用算法来解析数据、从中学习并决策 标志性成果计算机视觉人脸识别、车牌识别等 主要方法神经网络、聚类分析、决策树学习和强化学习等 深度学习（Deep Learning）一种实现机器学习的技术 理论本质借助人工神经网络的学习机制，将学习的过程多层化进一步强化学习过程14/20人工智能实现的智能驾驶 人工智能研究的三大任务

8、“计算机模仿人的理性思考、对周围环境的感知和动作的实现。”人工智能在智能驾驶中的主要内容 模仿人去环境感知感知 模仿人去理性思考决策 模仿人去执行动作执行感知感知决策决策执行执行15/20自动驾驶分级标自动驾驶分级标准准自动化等级称呼（SAE）SAE定义主体NHTSASAE驾驶操作周边监控支援系统作用域00无自动化由人类驾驶者全时操作汽车。在行驶过程中可以得到警告和保 护系统的辅助人类驾驶者人 类 驾 驶 者人 类 驾 驶 者无11驾驶支援通过驾驶环境信息对方向盘和加减速中的一项操作提供驾驶支一项操作提供驾驶支 援援。其它的驾驶动作都由人类驾驶者操作。人类驾驶者部分22部分自动化PA通过驾驶环

9、境信息对方向盘和加减速中的多项操作提供驾驶支多项操作提供驾驶支 援援。其它的驾驶动作都由人类驾驶者操作。系统33有条件自动化 CA由无人驾驶系统可以完成所有的驾驶操作。根据系统请求，人人 类驾驶者应提供适当的应答和操作类驾驶者应提供适当的应答和操作。系统44高度自动化HA由无人驾驶系统可以完成所有的驾驶操作。根据系统请求，人人 类驾驶者不一定需要对所有请求做出应答类驾驶者不一定需要对所有请求做出应答。在限定的道路和环 境条件下驾驶。系统5完全自动化FA由无人驾驶系统完成全时驾驶操作。在所有的道路、环境条件由无人驾驶系统完成全时驾驶操作。在所有的道路、环境条件 下驾驶。下驾驶。全域L2L3阶段阶

10、段人机共驾人机共驾有限自驾有限自驾自主自主驾驾驶驶向向智智能能化化、网网联联化化发发展展高精高精度地度地图图已经已经成成为自为自动动驾驶驾驶的的核心核心技技术术厘米级厘米级的高精度地图的高精度地图全自主全自主驾驶驾驶自动驾驶的分级标自动驾驶的分级标准准智能驾驶与无人驾驶自动驾驶路线自动驾驶路线图图 高级驾驶辅助系统（ADAS）高精度定位 车道级导航 解决特定情况下传感器失效问题，弥补环境感知设备的不足 行驶路径全局规划，制定合理的行驶策略20052005Grand Challenge Grand Challenge UrbanUrban ChallengeChallenge20072007Gr

11、andGrand ChallengeChallenge20042004M-ELROBM-ELROB 20082008M-ELROBM-ELROB 20062006C-ELROBC-ELROB 20092009C-ELROBC-ELROB 20072007FC-09FC-09.ARGOARGO 19981998美国美国欧洲欧洲NAVlibNAVlib 5 5 19951995LAGRLAGR 20052005.中国中国国内外研究进展20国外智能车代表国外智能车代表Google无无人人车车牛津大学机器人汽车牛津大学机器人汽车柏林自由大学无人驾驶柏林自由大学无人驾驶汽汽车车CMU Urban Cha

12、llenge自动驾驶汽车未来趋势自动驾驶汽车未来趋势商业化前期：高度自动商业化前期：高度自动驾驾驶和驶和低低速无速无人人驾驶驾驶 国外知名国外知名OEM计划计划2015年，TESLA90%以上驾驶采用自主巡航技术，高速公路施行全部的自主巡航；2016年，AUDI将推出商用车辆，可以在车辆低速运行时实现自动转向和加减速控制，以及交通堵塞的情况下，车辆辅助驾驶；2017年，GM在2017年推出具有“Super Cruise Control”功能的商用车辆，实现车道保持和自适应巡航控制；2017年，GOOGLE推出其商用车；2018年，NISSAN在多车道高速公路上实现自主变道决策和控制；2019年

13、，TESLA将推出全自主驾驶车辆；自动驾驶汽车未来趋势自动驾驶汽车未来趋势 国外知名国外知名OEM计划计划2020年，VOLVO预计使用自主驾驶技术，并实现“零伤亡”；GM、Mercedes-Benz、AUDI、BMW、雷诺公司实现部分路段的 自主驾驶；GM的阿兰陶伯估计这一年自动驾驶系统将成为汽车标准配置；2025年，Daimler和Ford公司推出全自主驾驶车辆；2025年，GM旗下大部分新车将具有自主驾驶和车间通信V2V功能；2035年，IHS Automotive预计无人驾驶汽车将会实现全自主驾驶功能；国内智能汽车研究进展两种典型路线图介绍-互联网解决方案两种典型路线图介两种典型路线图

14、介绍绍-整车厂解整车厂解决决方方案案最近背背的景景发与与展发发展展现阶阶状段段四维图新、百度、高德、立得空间等都在进行高精度地图的开四维图新、百度、高德、立得空间等都在进行高精度地图的开发发TomTom 宣称高精度地图已经覆盖美国高速路网宣称高精度地图已经覆盖美国高速路网在在2020年东京奥运会之前，实现日本高精度地图的覆盖年东京奥运会之前，实现日本高精度地图的覆盖地图厂商、互联网公司、汽地图厂商、互联网公司、汽车车厂厂家家以以 及传感器厂商积极围绕地图及传感器厂商积极围绕地图资资源开展源开展 跨界合作与投资并购跨界合作与投资并购国内外发展总结国内外发展总结 国外主流OEM厂商、IT巨头均将无

15、人驾驶作为公司战略性进行研发；国外主流OEM厂商在车联网方面开展较早，已经取得了一定的市场占有率；互联网对传统行业渗透速度的加快，OEM厂商与互联网巨头合作开发未来的智能汽车；上汽与阿里巴巴合作，启动“互联网汽车”战略 腾讯与富士康以及和谐汽车结盟，开发“互联网+智能电动车”百度在芜湖建立测试基地、上海嘉定无人驾驶测试基地开放 中国制造2025将机器人、智能装备作为发展重点众多初创企业进军无人驾驶 未来，在人与物、物与物的通信领域，虚拟现实、感触性Internet等愿景都将在5G的世界里得到应用和 改善；目前“北斗”在导航、可穿戴设备等领域已有应用，随着芯片小型化、低功耗、低成本等技术的发展，

16、“北斗”将全面走进大众的生活。提 纲3S集成与智能交通综述12自动驾驶研究背景智能驾驶与地图技术3移动测量45智能驾驶技术的应用场景快速三维导航电子地图采集与增量更新2000年武大实验激光扫描仪、GPS、CCD地面移动激光测量系统地面移动激光测量系统车载式手持式高精度数据采集车 采集内容 高精度道路ADAS数据（包含坡度、曲率、高程等）全景图像及激光点云数据 交通标志、标线、信号灯等交限数据全景图像全景图像激光点云激光点云移动数据采集车移动数据采集车地图采集地图采集移动测量移动测量车车高德高精度地图采集车移动采集车 优点 精度高 测图效率高 安全、舒适 缺点 成本高 数据现势性差 数据处理 模

17、式识别 计算机视觉 深度学习地图制作Lidar影像处理影像处理CameraINSGNSS高精度地图高精度地图几何、纹理、语义映射几何、纹理、语义映射场景元素的识别与场景元素的识别与 定位定位GPS/INS 融合融合高精度位置、姿态高精度位置、姿态速度、姿态等速度、姿态等目标识别目标识别各大厂商地图采集情况地图采集地图采集高德高德四维图新四维图新谷歌谷歌HereADAS 级别采集 近30辆采集车，已 50余辆自动驾驶汽车 200辆配备了新传感系车和HAD 级别采 完成对全国全部高安装激光雷达、毫米 统的采集车，安装有采集车采集车集车，车辆造价 速公路数据的采集波雷达、POS 系统等 GPS、高阶

18、相机、雷数百万人民币设备，造价高达150万 达及激光测距仪人民币数据精度数据精度10cm10cm厘米级厘米级提 纲3S集成与智能交通综述12自动驾驶研究背景智能驾驶与地图技术3移动测量45智能驾驶技术的应用场景检索检索快捷多样的目的地检索快捷多样的目的地检索1路径规划路径规划提供最优化及多样化的路径提供最优化及多样化的路径2显示显示美观以及智能的地图显示美观以及智能的地图显示4引导引导精确的路径引导精确的路径引导3提供提供丰富的内容丰富的内容以及以及更多的高级属性更多的高级属性 来满足多样性的用户体验来满足多样性的用户体验地图的基本功能2006年2002年2008年2009年车载导航行人导航动

19、态交通信 息服务（奥 运）增量更新TSP等增值服务HAD Map高精度地图2010年以后？2002年，出台国家标准，准生证我国导航电子地图的发展历程2008年，telematics，奥运阶段阶段精度精度内容内容目的目的功能功能第一阶段第一阶段（基础导航电子地图）（基础导航电子地图）10米路网、背景、注记、索引等基本地图要素辅助驾驶员进行导航提供基础的道路导航功能第二阶段第二阶段（ADAS级别的地图）级别的地图）1-5米 高精度道路级别的数据（道路形状、坡度、曲率、铺设、方向等）、车道数 量、车道宽度数据主动安全ACC（自适应巡航）LDW（车道偏离预警）LKA（车 道 保 持）FCW（前车碰撞预

20、警）第三阶段第三阶段（HAD级级别别的的高高精精度度地地图图）厘米级 高精度的坐标，准确的道路形状，车道属性相关数据（车道线类型、车道宽度、坡度、曲率、航向、高程、侧倾等）自动驾驶高精度的定位功能道路级和车道级的规划能力车道级的引导能力车用电子地图发展阶段地图可计算弯度的半径 和最大的安全速度地图识别已统计的 交通事故频发路段地图识别已知的 危险区域限速地图提供坡度信息用于可预见 的转弯和加速/刹车精确的相对精度辅助LDW 视频感应数据地图判断在水平和垂直 方向的前灯地图预见超车区的安全性基于坡度的燃料节约自适应前灯疲劳驾驶者监测弯道警示限速咨询频发事故路段警示危险区域警示地图+GPS识别与道

21、路 不一致的摇摆滑行高高精度导精度导航航地地图图ADAS（Advanced Driver Assistance Systems）自动驾驶为什么需要地图高级辅助驾驶或自动驾驶需 要机器实现精确的智能控制，需要有精确的环境基础信息，这是地图表达的主要内容。我在哪？我周围是什么情况？未来是什么情况？怎么样去我想去的地方人人脑脑机器脑机器脑地图提供先验知识，可提前对驾驶控制等进行规划高精度地图特征es 车道级高精度地图 车道几何形状及道路几何参数 车道属性、交通标牌、红绿灯、路口等全要素 车道及要素间挂接与关联关系 车道级拓扑 动、静态障碍物 实时交通信息精度10cm自动驾驶中的地图构建 洪荒之力s限

22、制：距离和视角长距雷达 1-150m视角限制无法有效检测不规则障碍物红外传感 2-120m成本高前视相机 0-80m视角限制 光线限制短距雷达 2-20m视角限制超声测距 2-3m后视相机 0-80m视角限制 光线限制一个像素引发的问题es自动驾自动驾驶驶需要怎样的需要怎样的地图？地图？人工智能与“智能驾驶”如何看待道路交通中的人工智能-特斯拉特斯拉Model S 高速公路追尾消防车案件高速公路追尾消防车案件49/20左图：左图：20182018年年1 1月月2222日，日，在在洛杉洛杉矶矶405405高速公路上高速公路上，一辆，一辆特特斯斯拉拉ModelModel S S 撞上了一撞上了一辆

23、停辆停在路边的在路边的消防消防车，所幸车，所幸无人无人员伤亡。员伤亡。司机司机告诉消防告诉消防部门，部门，当时汽车当时汽车处于处于自动驾驶自动驾驶模式。模式。人工智能与“智能驾驶”如何看待道路交通中的人工智能基于计算机视觉的自动驾驶应用 Uber自动驾驶与偶发的致死交通事件 360环境感知激光雷达 毫米波雷达测距 多路视觉辨识 高性能计算单元50/20Uber自动自动驾驾驶驶致死致死交交通事通事件件现场现场2018年年3月月19日，日，美美国亚国亚利利桑那州桑那州Uber自动自动驾驾驶驶汽汽车车环环境境感感知知技技术术详详解解场景地图“地地图图”根据一定的数学法则，使用地图语言，通 过地图综合

24、，抽象表示地理空间事物的空间分布、联 系及在时间中的发展变化状态的图形。场景地场景地图图 或或 驾驶地图？驾驶地图？智智能能驾驾驶驶“场场景景地图地图”是是以以安全安全出行出行为基为基础础，动态动态关关联道路联道路上上 各各种信息种信息，全面反全面反映映位置本位置本身身及其与及其与所所在道路在道路相相关关的各的各种种特征特征、事事件或事件或事物物的的数数字字精精细化地细化地图图。场景地图实例 交通规则(网络拓扑)渠化信息车道 车道线 车道数车道中心线车道宽度交通灯 障碍物交通标志线 交通引导线 限速场景地图特点 局部视角 内容丰富 目标动态变化 几何关系复杂 连续配准困难自动驾驶如何利用场景地

25、图车车 辆辆 规规 划划高精度相对定位高精度相对定位GNSS根根据据地图，确地图，确 定是否变道定是否变道根据地图，确定红根据地图，确定红绿灯的范围绿灯的范围根据地图调根据地图调整传感器整传感器基于场景地图的诱导 地图引导56存在的主要问题：交通存在的主要问题：交通规规则的则的遵遵守守地地图图+感感知知+决策和决策和控控制制=无人驾无人驾驶？驶？导航地图是无人驾驶的重要技术基础感知信息和已有真实道路地理信息的配准融合 组合定位组合定位 驾驶敏感目标实时定位驾驶敏感目标实时定位、分类分类与与构图构图I.自车位置II.车道线、红绿灯、交通标志等III.动静态障碍物（行人、车辆等）IV.道路几何参数

26、目标：实时建立道路场景地目标：实时建立道路场景地图图基于单基于单目视觉的场景感知目视觉的场景感知Advanced Driver Assistant System(ADAS)Common means:millimeter wave radarDisadvantages:前装expensiveMeans by computer visionAdvantages:后装 inexpensive wide extensionMethod(LDW)HOG+SVMResolution 640X480Training setPositive samples:1000Negative samples:1000D

27、etecting difficulties The contradiction betweenthe speed and precision ofdetectionResolutionTracking inter frames单单目目视觉的常用技术方法视觉的常用技术方法 Method(FCWPDW)Haar+adaboost Problems of Haar Sensitive to illuminationchange and small offset No stronger robustness Problems of adaboost 训练样本量大实时计算量大Depth Neural N

28、etwork(DNNs)实实时时测绘技测绘技术术 定位技术定位技术基于动态序列影像的道基于动态序列影像的道路路场景场景实实时时建建模模技技术术融合地理与视觉信息的融合地理与视觉信息的车车道级道级定定位位技技术术GNSSIMUPOSDMICORS基于场景标记目标的定基于场景标记目标的定位位、定、定姿姿实时测绘技实时测绘技术术 机器机器视视觉觉+摄摄影测量影测量视 觉 传 感 器 核 心 算 法 前 方 车 辆 识 别 交 通 信 号 及 标 志 牌 识 别 车 道 线 提 取 行 人 检 测 车 道 级 实 时 交 通 信 息 计 算 地 图 快 速 生 产 工 具 A D A S 功 能 基于

29、互联网的群智感知基于网联平台的快速专业制图实时测绘技术 摄影测量+机器视觉基于深度学习的动态目标提取、识别实时测绘技术 激光点云处理地 面地 面 点点 识 别识 别路 面路 面 提提 取取交 通交 通 标标 志 线 提 取志 线 提 取点 云点 云 分分 割割目 标目 标 识识 别别原 始原 始 数数 据据目 标目 标 提提 取取区 域区 域 层层次 化 合 并次 化 合 并多 规多 规 则则区 域 生 长区 域 生 长逐 点逐 点 分分类类非 地非 地 面面 点点实时测绘技术 激光点云处理（语义理解）车道车道级驾级驾驶驶场景场景模模型型 兼容已有地图数据兼容已有地图数据 增加实时感知信息增加

30、实时感知信息 建立动态反馈建立动态反馈 融合地理与视觉信息的融合地理与视觉信息的车车道级道级定定位位 基于动态序列影像的道基于动态序列影像的道路路场景场景实实时建模时建模 基于移动智能终端的的基于移动智能终端的的高高精度精度实实时测图时测图提 纲3S集成与智能交通综述12自动驾驶研究背景智能驾驶与地图技术3移动测量45智能驾驶技术的应用场景自动驾驶在“3S”领域应用智能驾驶在智能驾驶在“小、特、慢小、特、慢”场景中落地场景中落地I.Small vehicleII.Specific scenariosIII.Slow speedAGV、物流机器人、农用机器人、导盲犬，分时租赁汽车的最后一公里无人

31、驾驶技术无人驾驶技术/分时租赁供应分时租赁供应商商车辆操控、网络约车业务范围业务范围途Car APP车路协同的全息化技术 智能车路协同系统 智能车路协同系统 协作：车联网、网联车 作用：凸显交通系统功能智能交通系统：车路协同智能交通系统：车路协同车车联联网网网网联联车车全全息地息地图图智能车智能车 智能路智能路 智能网智能网 智能服务智能服务智智能能车车智智能能车车智智能能车车智智能能网网以以V2XV2X为为核核心的心的信信息息交交互平台互平台任何车辆在任何车辆在任何任何时时间、间、任任何地何地点点的互的互通通互联互联全时空动态全时空动态交通交通信信息采息采集集与融合与融合车辆驾驶安车辆驾驶安

32、全与全与交交通管通管理理协同协同控控制制69/20（863智能车路协同关键技术研究课题组）场景地图一体化云服务平台用户端信息上传用户端信息上传车载硬件车载硬件行车记录 行车导航服务高级辅助驾驶服务云端处理后发布云端处理后发布地图增量更新 车道级交通路况 驾驶行为分析V2CV2VV2PV2I跨跨界融合协同发展界融合协同发展汽车厂商、互联网企业与 地图公司跨界合作3高精度、高时效、低成本1智能化、网络化、大众化2构建“互联网智能汽车”生态系统提 纲3S集成与智能交通综述12导航与位置服务4智能驾驶3移动测量5机器人iSurRo测绘机器人第一代测绘机器人X-young自主导航型的小型化、低成本机器人安全避障轨迹巡逻自主定位全天候自主行驶自主构建地图 74 LOGO总结总结和和展展望望 多目视觉及视觉地理标签 激光点云的目标实时分类 基于视觉标签、点云目标的定位定姿 感知+地图 无人驾驶的解决方案，是否需要高精度地图？智能驾驶任重道远Thank you！