智能汽车软件在自动驾驶中的应用及关键技术梳理(2021年)课件.pptx

1、关键技术梳理：自动驾关键技术梳理：自动驾驶驶11 自动驾驶主要技术梳理自动驾驶主要技术梳理从自动驾驶各个研发环节来看，主要涉及到软件工程&硬件工程：1）软件工程：包括操作系统、基础软件（基础库、分布式、核心服 务）、算法设计（定位、感知、规划等）、工程实现（FCW、LDW 等）、云服务（仿真、高精度地图），其中高精度地图已在前一章节 做了论述，本章不再赘述；2）硬件工程：包括域控制器设计（硬件架构、计算单元、功能安全 等）、传感器（激光雷达、毫米波雷达、超声波雷达、摄像头、GPS、IMU等）、系统集成、线控改造。22 自动驾驶：操作系统自动驾驶：操作系统汽车操作系统可分为车控操作系统和智能座舱

2、操作系统两类：车控操作系统是实现车辆行驶功能、动力性的运行基础；智能座舱操作系统主要为车载信息娱乐服务以及车内人机交互提供控制平台；车控操作系统主要用于车辆底盘控制、动力系统和自动驾驶：从应用场景上我们可以将车控操作系统分为两类：一类是嵌入式实时操作系统，用于传统的车辆控制，适用于动力系统与底盘控制等领域；另 一类是基于POSIX标准的操作系统，适用于自动驾驶所需要的高性能计算和高带宽通信。车控OS必须为实时性操作系统：汽车电控系统属于复杂测控系统，如果系统任务的响应不及时或有延迟过大，就可能导致严重的损失，因此汽车电控ECU必须是高稳定性的嵌 入式实时性操作系统，目前主流的电控操作系统基本都

3、兼容OSEK/VDX和AUTOSAR这两类汽车电子软件标准。车控操作系统要求3车控OS要求特点详述高实时性传统的汽车电子控制周期在百毫秒级别，对于ADAS场景，如主动刹车系统，其控制周期大致在10毫秒级别，车 控OS要求具有高实时性，一方面系统任务调度时钟周期在毫秒级，且高优先级的任务不能被低优先级任务阻塞高可靠性车控操作系统要求能够长时间稳定运行，运行期间的系统功能和提供的服务均应保持可用，要求具有很高的可靠性、可访问性和可服务性（RAS特性）功能安全汽车电子设备的运行关系到司乘人员的安全，即使在设备失效的情况下，也不能够危及司乘人员的安全。因此，这些设备应当符合IEC61508和ISO26

4、262中定义的相应场景的功能安全等级。信息安全在车控操作系统的开发和设计中，必须采取相应手段去应对信息安全的挑战，实现可信存储、可信通信、可信计算、多重安全防护等安全能力高性能计算与传统的汽车电子控制场景相比，ADAS和自动驾驶对操作系统平台有更高的要求：首先是强大的计算能力，以满足图像识别和决策计算的要求；其次数据吞吐能力强，以满足多传感器数据的实时接入和处理；第三是高度 的灵活性/扩展性/可编程性，以满足多种算法模型的需要；最后需要快速学习和易用性；2 自动驾驶：操作系统自动驾驶：操作系统目前主流车控操作系统基本都兼容OSEK/VDX和AUTOSAR这两类汽车电子软件标准不管是OSEK还是

5、AUTOSAR操作系统，它们仅仅作为标准定义了操作系统的技术规范，各家软件和工具服务商开发了各自的符合标准的操作系统产品，然后提供给Tier1供应商广泛应用于各类电控系统。目前AUTOSAR分为两个平台，即Classic平台和Adaptive平台，分别对应传统控 制类车辆电子系统与对应自动驾驶的高性能类车载电子系统。AUTOSAR已逐步成为了主流，主流产品包括Vector，KPIT，ETAS，DS等，本土主要为i-Soft市场上知名的拥有完整解决方案的企业包括Vector，KPIT，ETAS，DS以及被收购的EB（Continental）和MentorGraphics(Siemens)。在国内

6、，依托国家“核高基”课题，i-Soft公司也开发了符合AUTOSAR标准的操作系统和基础软件，并成功应用于自主品牌和新能源量产车型，总体看我 国车控OS仍处于跟随海外发展阶段。AUTOSAR产业链图谱车载操作系统现行两类标准车控OS标准概述发展现状OSEK/VDX这个标准旨在制定汽车电子标准化接口，主要定义了三个组件：实时 操作系统（OSEK-OS），通讯系统（OSEK-COM）和网络管理系统（OSEK-NM）OSEK操作系统始于20世纪90年代，第一个商业化的OSEK操作系统由德 国3Soft公司开发，最早应用于奥 迪A8的仪表控制器AUTOSARAUTOSAR兼容OSEK/VDX标准，增加

7、 了新的系统模块，同时隐含的提出 了“软件定义电控系统”的概念，完整的AUTOSAR系统架构从下向上 分为硬件层HW，硬件抽象层MCAL，基础软件层BSW，运行时环境RTE和 应用软件SWC，其中操作系统被包 含在BSW层中发起于2003年，由全球汽车制造商，汽车电子供应商，汽车软件和 工具服务商和半导体制造商联合成 立的一个标准联盟组织。目。目前前AUTOSARAUTOSAR已逐已逐步成为步成为了了主流主流，市市 场上知名的拥有完整解决方案的场上知名的拥有完整解决方案的 企业包括企业包括VectorVector，KPITKPIT，ETASETAS，DSDS以及被收购的以及被收购的EBEB（大

8、陆）（大陆）和和 MentorGraphics(MentorGraphics(西门西门子子)43 自动驾驶：基础软件自动驾驶：基础软件-基础库基础库/深度学习深度学习智能驾驶深度学习主要包括两种方式：深度学习即深度神经网络学习，其概念源于人工神经网络的研究，是一种特殊的机器学习形式，涉 及到的软件/框架主要包括Tensorflow/Pytorch/OpenCV/TensorRT等。基于深度学习的自动驾驶研究中，有两种比较常见的解决方案：1）基于规则的解决方案：可理解为“按部就班”式，依据常规的 感知/定位 决策/规划 控制/执行的流程步骤依次进行；2）端到端（End-End）的解决方案：可理解

9、为“一步到位”式，系统从环境和定位模块获取输入后，经过一个深度学习模型，便可直接输出对车辆的控制执行命令。自动驾驶基础软件之深度学习领域梳理5智能驾驶深度学习软件智能驾驶深度学习软件语言平台语言平台开发开发/支持公支持公司司 用途用途概述概述TensorFlowP y t h o n、C、C+/L i n u x、Mac谷歌用于数值计算的使用 数据流图的开源软件库是较低级别的符号库（比如 Theano）和较高级别的网络规范库（比如Blocks 和Lasagne）的混合，是Python 深度学习库集合的最新成员，不过在GoogleBrain 团队支持下，它已经是最大的活跃社区了。它支持在多GPU

10、s 上运行深度 学习模型，为高效的数据流水线提供使用程序，并具有用于模型的检查，可视 化和序列化的内置模块。且TensorFlow支持 Keras（很优秀的深度学习库）。PytorchPython、Lua/Linux、MacFacebook张量（Tensors）和动态神经网络，有着强大 的GPU 加速PyTorch 也是Python 深度学习框架列表中的一个新成员。它是从Lua 的Torch库到Python 的松散端口，由Facebook 的人工智能研究团队支持且因为它较早 支持用于处理动态计算图，也是非常优秀的一款深度学习框架OpenCVC、C+OpenCV基于BSD许可（开源）发行的跨平台

11、计算机视 觉和机器学习软件库可以运行在Linux、Windows、Android和Mac OS操作系统上，它轻量级而且高效由一系列 C 函数和少量 C+类构成，同时提供Python、Ruby、MATLAB等 语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。TensorRTC+、python英伟达高性能的深度学习推理 优化器可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT现已能 支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架，将TensorRT和N

12、VIDIA的GPU结合起来，能在几乎所有的框架中进行快速和高效的部 署推理3 自动驾驶：基础软件自动驾驶：基础软件-基础库基础库/中间件中间件通信中间件中间件是一种应用于分布式系统的基础软件，位于应用与操作系统、数据库之间，主要用于解决分布式环境下数据传输、数据访问、应用调度、系统构建和系统集成、流程管理等问题。现代基本的软件设计原则是模块化，模块化为开发提供了便利，但也引入了对中间件的需求。以通信中间件为例，基于工作流程，一个常规的通信中间件包括以下模块1）数据类型规范语言；2）消息传递系统；3）日志/回放工具&实时分析工具。中间件在分布式系统中的用途示意图基础中间件类别：通信（信息）中间件

13、是重要的基础中间件63 自动驾驶：基础软件自动驾驶：基础软件-基础库基础库/中间件中间件对于自动驾驶平台，中间件服务商主要帮助对接整车OEM、底层OS与核心硬件厂商，使标准化产品能够给予不同层级用户个性化的接口 调用。对于通信平台，中间件服务商将主要帮助对接应用层（开发商、服务商等）、OS与硬件厂商，使得标准化产品能够给与不同层级 用户个性化的接口调用。智能汽车系统中间件市场空间预计在40亿元左右。根据工信部近年来的统计数据，从全部软件行业来看，中间件收入约占到嵌入式软件 服务收入水平2.5%左右。考虑到智能汽车价值远高于一般的计算终端，且车规级安全要求和长周期开发，预计2020年国内智能座舱

14、系统 和自动驾驶系统中间件市场规模分别可达28亿和10亿元。国内已布局汽车中间件业务的企业包括中科创达、东软集团、诚迈科技等。中间件在分布式系统中的用途示意图车载中间件市场空间结构（亿元）71015330102820173060504020192021E2020E自动驾驶系统部分智能座舱部分74 自动驾驶：算法自动驾驶：算法自动驾驶算法覆盖感知、决策、执行三个层次感知类算法，包括SLAM算法、自动驾驶感知算法；决策类算法包括自动驾驶规划算法、自动驾驶决策算法；执行类算法主要为自动驾驶控制 算法；涉及到的操作系统以Linux为主，编程语言包括C/C+/PYHTON/MATLAB等；自动驾驶涉及到

15、的主要算法自动驾驶算法开发所需要的的操作系统及编程语言梳理自动驾驶控制算法自动驾驶控制算法自动驾驶感知算法自动驾驶感知算法视觉方向(VSLAM)摄像头自动驾驶主要算法自动驾驶主要算法SLAMSLAM算算法法激光方向(Lidar SLAM)多传感器融合算法激光雷达摄像头/各类雷达/IMU自动驾驶决策算法自动驾驶决策算法自动驾驶规划算法自动驾驶规划算法84 自动驾驶：算法典型应用场景自动驾驶：算法典型应用场景多传感器融合多传感器融合传感器融合技术：单一类型传感器无法克服内生的缺点，我们需要将来自不同种类传感器的信息组合在一起，将多个传感器获取的数据、信息集中在一起综合分析以便更加准确可靠地描述外界

16、环境，提高系统决策的正确性，比如典型的激光雷达+摄像头+IMU+高精度地图组 合。主要技术类别：1）后融合算法：每个传感器各自独立处理生成的目标数据，当所有传感器完成目标数据生成后，再由主处理器进行数据融 合；2）前融合算法：在原始层把数据都融合在一起，融合好的数据就好比是一个超级传感器，而且这个传感器不仅有能力可以看到红外线，还有能力可以看到摄像头或者RGB，也有能力看到LiDAR的三维信息，就好比是一双超级眼睛，在这双超级眼睛上面，开发自己的感知算法，最后会输出一个结果层的物体。后融合算法典型结构前融合算法典型结构94 自动驾驶：算法典型应用场景自动驾驶：算法典型应用场景深度学习模型训深度

17、学习模型训练练路端/云端：可以用于数据存储、模拟、高精地图绘制以及深度学习模型训练，作用是为无人车提供离线计算及其存储功能，通过云 平台，我们能够测试新的算法、更新高精地图并训练更加有效的识别、追踪和决策模型。同时可支持全局信息存储和共享，互联互通 业务流，对自动驾驶车实行路径优化。车路云一体化协同：云端算法不可或缺机器学习算法在智能驾驶决策领域地位吃重104 自动驾驶：算法自动驾驶：算法Mobileye为传统算法领域无冕之王，深度学习算法领域新秀频为传统算法领域无冕之王，深度学习算法领域新秀频出出算法粗略来看可分为传统算法+深度学习算法：1）传统算法的代表非Mobileye莫属，这家以色列公

18、司已经研究了近20 年的自动驾驶，在芯片、硬件、算法领域都有较强的布局，毫不夸张的 说，Mobileye已经是智能驾驶领域寡头之一；2）深度学习算法则是随着人工智能的发展而得到真正重视的，由于该 领域真正的起步时间相对较晚，Mobileye与诸多AI算法公司在该领域处 于相近的发展阶段，行业格局尚未固化，新秀频出；3）目前国内算法领域，地平线、百度（Apollo）做得较为突出，此外 纵目科技、禾赛科技等公司在多传感器融合领域技术优势明显。116 自动驾驶：仿真测试自动驾驶：仿真测试自动驾驶商业化面临路测数据匮乏的挑战自动驾驶汽车在真正商业化应用前，需要经历大量的道路测试才能达到商用要求。但是采

19、用路测来优化自动驾驶算法耗 费的时间与成本太高，据兰德公司数据，自动驾驶算法想要 达到人类驾驶员水平至少需要累计177 亿公里的驾驶数据来 完善算法；仿真测试成为自动驾驶研发的关键环节之一仿真测试主要通过构建虚拟场景库，实现自动驾驶感知、决 策规划、控制等算法的闭环仿真测试，满足自动驾驶测试的 要求。场景库是自动驾驶仿真测试的基础，场景库对现实世 界的覆盖率越高，仿真测试结果越真实。而且自动驾驶汽车 研发的不同阶段对于场景库的要求也不同，需要场景库实现 不同的测试功能。仿真测试成为自动驾驶研发的关键自动驾驶研发与准入测试面临的诸多挑战124.6 自动驾驶：仿真测试自动驾驶：仿真测试仿真测试行业

20、标准现状国际标准化组织ISO 于2018 年正式成立TC22/SC33 WG9 自动驾 驶场景工作组，制定自动驾驶测试场景相关标准，自动驾驶场景 工作组已于2019 年通过了四项标准以及一项预留标准的立案。C-ASAM领导我国自动驾驶仿真测试标准制定德国自动化及测量系统标准协会（ASAM）在汽车标准制定领域 具有全球领军地位，ASAM 推出的标准涉及多个汽车标准领域，包括仿真、车联网、测量与校准、诊断、自动化测试、软件开发、ECU 网络和数据管理与分析等。2019 年中汽数据与ASAM 联合发表声明，共同组建C-ASAM 工作组，C-ASAM 工作组成员包括上汽集团、腾讯、华为、百度、赛目、四

21、维图新、北京航空航天大学等20余家中国企业与研究 机构，共同为中国在自动驾驶领域相应标准中发声，成为中国对 标国际标准内容的重要工作组。C-ASAM 研究框架及内容拓展ISO 自动驾驶场景工作组研究内容134.6 自动驾驶：仿真测试自动驾驶：仿真测试目前自动驾驶测试主要在虚拟仿真软件进行仿真测试的评价应包括仿真测试自身评价以及自动驾驶车辆驾驶性能、驾驶协调性、标准匹配性、学习进化性等方面。在仿真真实度及仿真效率方面，通过游戏技术来打造更真实的测试场景，使用云计算的能力提升测试效率已经成为业界的公认方向。自动驾驶仿真测试体系中国汽研虚拟仿真场景库i-Scenario144.6 自动驾驶：仿真测试

22、自动驾驶：仿真测试自动驾驶仿真测试参与主体：目前自动驾驶仿真市场参与主体主要包括：科技公司、车企、自动驾驶解决方案商、仿真软件企业等。由于每个市场主体在自动驾驶仿真方 面的技术基础不同，因此在推动自动驾驶仿真方面的研发及合作方式呈现不同模式。科技公司：起步相对较晚，在汽车方面经验较少，但是具备数据优势，软件开发能力强，主要包括腾讯、百度、华为、阿里等；从海外来看，微软、英伟达及LG 等国外科技公司主要针对自动驾驶仿真软件进行研发，通过和产业链企业合作建立了自动驾驶研发生态体系，成为自动驾驶仿真的重要参与者。本土科技公司自动驾驶仿真平台对比海外科技公司自动驾驶仿真平台概述科技公司科技公司 仿真测

23、试平台仿真测试平台情况概述情况概述英伟达Drive Constellation该仿真系统由两台不同的服务器而打造，第一台 服务器运行英伟达DRIVE Sim 软件来仿真自动驾 驶汽车的传感器，如相机、激光雷达和雷达。第 二台服务器搭载了英伟达DRIVE Pegasus 人工智 能车载计算平台，用来处理仿真的传感器数据微软AirSim2017 年开源了跨平台虚幻引擎模拟器AirSim，支持无人机以及自动驾驶模拟仿真，同时可以创 建高逼真的交通环境，实现车辆及传感器仿真模拟。LGLGSVL SimulatorLG 硅谷实验室于2019 年初发布了开源的自动驾驶模拟器LGSVL Simulator，

24、其支持传感器仿真及可编辑地图、车辆、天气、行人等，并且可连 接百度阿波罗平台及Autoware Foundation进行 仿真模拟154.6 自动驾驶：仿真测试自动驾驶：仿真测试整车公司：路测和仿真测试同步进行是整车企业的最佳选择，考 虑到车企自身软件开发能力弱，无法独立完成仿真测试，一般通 过和科技公司或者自动驾驶仿真软件企业合作，利用后者仿真软 件进行自动驾驶汽车开发，如上汽与TAD Sim等；仿真软件企业：在全球主流自动驾驶仿真软件企业中，根据中汽 中心统计，美国/德国企业占比分别为36%/32%，中国有3 家自 动驾驶仿真软件初创企业。参与仿真测试的整车厂梳理专业仿真测试的软件企业梳理

25、164.7 自动驾驶：车身控制系统自动驾驶：车身控制系统车身控制系统概念：车身控制系统是用来实现对车身用电器的人性化、舒适性及部分安 全性控制的系统，涉及车辆防盗、室内灯、电动车窗、玻璃除霜、刮水、中控锁、遥控RKE、转向灯、前后组合灯、前后雾灯、喇 叭、天窗、座椅、后视镜等的控制；车身控制系统原理：车身控制系统基本原理为通过外部I/O及总线接口接收车内的一些开关信号、传感器信号以及CAN、LIN总线等数据信号，通过控制器MCU实现控制逻辑，通过驱动电路实现对外围负载的控制。需要特别强调的是，车身控制系统不等于车身控制器。车身控制器 是车身控制系统最重要的部分，不同类别的车身控制系统，车身控

26、制器所控制的范围不同。如右图集中式车身控制系统的车身控制器，基本控制了全车车身电器，甚至集成了熔断丝盒的功能；而在分布 式系统中，车身控制器可能仅仅控制前车身的电器或者更少。典型集中式车身控制系统原理框图174.7 自动驾驶：车身控制系统自动驾驶：车身控制系统车身控制系统主要可分为集中式车身控制系统、分布式车身控 制系统、以集中式为基础的混合式车身控制系统。其中，分布 式偏重中高档车型应用，集中式以及混合式偏重在经济型轿车 与中高档车型之间的应用；对比而言，集中式成本最低，但是扩展性和配置灵活性也较差，分布式成本最高，但是扩展性和配置灵活性也较好，以集中式为 基础的混合式则介于上述两者之间。3

27、种形式车身控制系统比较分布式车身控制系统结构图混合式车身控制系统结构图控制形式控制形式功能功能扩展性与配置灵活性扩展性与配置灵活性成本成本集中式较强，可实现较多的交互功能较差最低集中为基础 的混合式强，在配置合理的前提下可实现所有 交互功能较好高于集中式分布式强，在配置合理的前提下可实现所有 交互功能最好最高184.7 自动驾驶：车身控制系统自动驾驶：车身控制系统特斯拉车身控制系统走出了一条迥异于传统汽车的路线1）高度集成：左/右/前控制器元件铺贴密度高，相当于传统车的车身控制器、座椅控制器*2、门控制模块*4、方向盘位置记忆控制器、电子 驻车控制器、自动泊车辅助控制器、空调控制器、智能电池传

28、感器的集合，并且还同时取代掉了传统车上的发舱保险丝盒及驾仓保险丝盒；2）一板多芯：即一块PCBA上设计多颗控制器，其中前/左/右车身控制器有4/3/3颗MCU，多MCU设计可以为部分功能的安全级别提供高保障；3）去保险丝化和去继电器化：Model 3取消了传统车的保险丝及继电器盒，取而代之的是在车身控制器内部集成了电子保险丝盒的功能；4）淡化了域控制器概念：传统汽车主流发展方向是域控制器，即动力/底盘/驾驶辅助/娱乐/车身这五大域各有一个控制器，该域内所有的运 算逻辑均由域控制器完成，其下面通过CAN或LIN总线连接各种传感器和执行器，换句话说，域控制器下所有的子控制器只负责信号采集或负 载驱

29、动，不再具有运算功能，因此可以把子控制器标准化，只要接口定义好，子控制器可以做成标准件。而model 3采用了大集成的概念，即 把一个区域范围内可见到的控制器都集成在一起，也就是主控制器把小控制器统统吃掉，融合成一个超大控制器，这样大大降低了单车成本。特斯拉三大车身控制器对应控制领域特斯拉三大车身控制器元件构成194.8 自动驾驶：车身控制系统自动驾驶：车身控制系统CAN总线车身控制系统：CAN总线是德国Bosch公司为解决现代汽车中众多的控制与测试仪器之间的数据交换而开发的串行数据通信协 议，目前车身控制系统网络连接方式主要用2条CAN，一条用于驱动系统的高速CAN，速率500kb/s；另一

30、条用于车身系统的低速CAN，速率100kb/s；博世等海外巨头处于行业主导地位：1）乘用车：相关应用始于2000年，目前国内中高端乘用车产品基本都采用了 CAN 总线控制技术，该市场基本被博世等跨国企业所垄断；2）客车：相关应用始于2003 年，目前主要客车企业“三龙一通”、安凯、中通、北汽福田等都加大CAN总线控制系统的应用范围，国内主要 参与方主要有哈尔滨威帝股份、欧科佳（上海）（法国ACTIA全资子公司）、宁波市鄞州雪利曼等；3）卡车：相关应用始于2004年起步，其主要包括仪表、BCM（车身控制模块）和车身管理系统，目前该市场主要被博世德等企业所垄断。博世在我国的业务布局CAN总线车身控制系统领域地位突出20