英语原文共 12 页

迈向拥有先进传感器解决方案的自动驾驶汽车

摘要：

专业卡车司机是保持全球经济活力和商业产品运转交通的重要一环。为了提高生产率和安全性，现代卡车越来越自动化。过渡到自动化的重型车辆旨在使卡车无事故，另一方面，使驾驶更舒适。这促使汽车行业在未来将更多嵌入式ICT引入其车辆中。通往自动驾驶车辆的途径需要引入强大的环境感知和驾驶员监控技术，这是DESERVE项目背后的主要动机。这是关于传感器技术试验的研究，以尽量减少卡车周围的盲点，另一方面，保持驾驶员的警惕性达到足够高的水平。结果由两个创新的卡车示范：一个用于将设备投入生产的研发研究，另一个用于驾驶员培训车辆的实施。早期的实验包括以60％-80％的准确度工作的驾驶员监控技术和性能率为70％-100％的环境感知（立体和热成像仪）。虽然结果对于自动驾驶汽车来说是不够的，但是已经向前迈进了一步，因为即使从实验室转移到真正的汽车实施中它们也是可行的。

关键词：

自动驾驶，摄像头，驾驶员监控，环境感知，自动车辆，传感器，激光扫描仪，卡车，雷达，数据融合。

简介

本文旨在概述DESERVE（安全高效的dRiVe开发平台）项目在驾驶员监控领域主要引入的创新[1]-[3]。整个项目旨在设计和开发嵌入式高级驾驶员辅助系统（ADAS）工具平台，以充分利用跨域软件重用，标准化接口以及异构汽车模块的简单且安全兼容的集成。该研究的主要研究问题是确定DESERVE平台的最佳传感器解决方案，这些解决方案是所选ADAS功能所需的，用于支持向自动车辆的过渡[4]。该项目选择了22个不同的模块来实现根据用户需求分析选择的11个驱动程序支持应用程序。

车道变换辅助系统

行人安全系统

前/后视系统（远程范围）

自适应灯光控制

停车辅助

夜视系统

巡航控制系统

交通标志和交通灯识别

地图支持系统

车内观察

司机监控

智能车辆至关重要的是对外部环境的感知[5]：到目前为止，可用传感器和人工智能的融合不能像人类一样地“看到”和理解车辆的周围环境。关于环境感知传感和人体检测技术[6]-[9]在过去几十年中，仍然存在差距，需要不断增强传感器性能，就有总之，需要增强的方面有：1）几乎所有传感器类型：高价2）单基地无线电雷达：范围不够长，缺乏横向分辨率和可靠的目标分类3）激光雷达：恶劣天气下性能不良，尺寸4）基于相机的图像处理：距离短，它提供了识别物体的可能性，但需要高计算能力，这意味着响应时间至关重要。它们很昂贵，并且与激光一样，在光线不好或恶劣天气下性能不稳定。

图1 DESERVE车载平台软件架构

为了适应车辆接近，为车载平台提供模块化软件架构，如图1所示。该平台提供了组合传感器的方法，这些开发的应用程序将在不同的演示中进行测试，以表明该平台不限于单一车型。车辆是：

中型客车=gt;菲亚特

豪华轿车=gt;戴姆勒

摩托车=gt;Ramboll

重型货车=gt;沃尔沃

驾驶员训练卡车=gt;TTS

此外，测试还将在模拟器中进行，例如用于驾驶员监控功能的模拟器和用于巡航控制系统的模拟器。驾驶员监控是关键领域之一，目前市场上只有极少数实际应用程序存在。在可以部署全自动化之前，这被认为是引入半自动车辆的一个重要特征[10]。需要根据驾驶员行为调整车辆环境，另一方面，需要监控驾驶员与驾驶任务接合。

日常交通中的重型货车司机受到的影响与乘用车司机一样严重。与乘用车涉及问题的重要性相比，重型车辆对其他道路使用者的交通事故的后果更为严重。项目目标是在驾驶模拟器中引入驾驶员监控，为专业卡车司机提供培训，见图2。对于培训主管来说，在模拟器或驾驶过程中发现考生没有充分注意交通的所有情况是很有挑战性的。因此，驾驶监控系统有助于在训练期间收集数据。

有关检测重型货车周围物体的深入研究已经进行了许多年。10年前，除调整镜子和驾驶舱人体工程学外，卡车制造商开始为车辆带来更多的环境感知技术。随后，增加了激光扫描仪，雷达和摄像机的数量，以便检测不是驾驶员视线区域中的物体。自动驾驶汽车使用类似的技术，但鲁棒性需要稳定的性能提升。本研究将介绍在卡车示范案例中进行的立体视觉和热像仪的实验。

驾驶员监控概念

DESERVE项目演示了重型货车车厢内基于多摄像头的驾驶员监控系统。驾驶员监控的目的是确保驾驶员正确注意到关键安全信息。即使驾驶员没有转过头看向窗外，驾驶员监控摄像机的位置可以使驾驶员的脸部在摄像机上可见。然而，监控更具挑战性，因为驾驶员需要转头看看重型货车的大舱。因此，该实施方式需要一种新的方式来调整驾驶员监控系统以检测驾驶员注视的方向并计算驾驶员意识的活动指数。

图2 卡车司机培训的驾驶员监控模拟器环境。

视觉分心检测是基于规则的分类器，用于检测驾驶员是否将他或她的注意力集中在道路或其他景点上（例如，车辆控制移动电话，收音机等）。基于支持向量机（SVM）的认知干扰检测是一种优化位置的分类方法，其优化超平面的位置，使得负特征实例和正特征实例之间的边界最大化。我们有兴趣更多地关注测试SVM对高度非线性输入数据的可行性，其中认知指标是相当难以理解的。从而，先前测试的SVM使我们有机会避免过于用繁重的资源编写分类器，并且使我们能够更加努力地优化性能。因此，这里没有深入解释SVM原理，目标是识别约束条件，以检测车辆的认知干扰。

监控开发不仅限于重型货车（见图3），而且在DESERVE项目中这也在摩托车中实施。这是一种有趣的方法，很少有相同的技术可以用于摩托车和车载。在两轮车的实施中，骑车者仅用安装在摩托车车把上的单个摄像头进行监控。相机正朝向骑手的头盔，以便捕获骑手眼睛和脸部的最佳图像（参见图4）。在某些情况下，骑手的眼睛受到头盔遮阳板的保护。这会阻挡光路使得无法使用相机来检测骑车者的眼睛并估计注视方向。因此，当面部特征（即骑车者的眼睛）不可见时，测量头盔方向。头盔的定向可以从静态头盔部件的方向计算，即遮阳板和反射器印记。主要思想是在系统中添加一个软件模块，在无法识别眼睛时检测头盔的方向。该系统需要一个自动适应程序，以便分析骑车者眼睛的方向和他们前方道路的接触。

图3 卡车演示中的驾驶员监控。

图4 摩托车演示中的骑手监控

在摩托车情况下，硬件包括一个USB 3.0摄像头，为骑手监控提供720p分辨率的静止图像，以及一个用于环境图像的前置摄像头。摄像机连接到运行Windows 7.32位操作系统的无风扇汽车PC。汽车PC运行Microsoft SQL 2010数据库来存储测量结果并分析车手检测应用程序的结果。然而，在卡车的情况下，驾驶员监控功能是使用安装在训练车辆舱内的三个RGB HD摄像机实现的[11]

接下来的开发步骤是实时比较收集的数据驱动程序监控和环境感知，并创建多层警告系统，以提高驾驶员对可能事故的意识。使用High-Tec多传感器软件开发产品来构建它。如果驾驶员没有以安全的方式做出反应，将应用特殊的警告规程。例如：司机的意图是改变车道。司机先看侧镜吗？司机是否对车道变更警告做出反应？司机是否识别出盲点区域？当注意到另一条车道上的障碍物时，驾驶员如何反应？司机减速还是继续改变车道？

分析来自不同驾驶员行为源的数字信息，作为比较数据的结果。通过这种方式，向驾驶员展示了他或她在不同交通情况下的反应和行为以及驾驶员在经济驾驶和交通安全方面如何成功的情况。这使我们能够开发出可靠且独立的方法来评估他们的技能。

环境感知

3.1概观

汽车行业的一个重要领域是检测车辆前方的易受伤害的道路使用者（VRU）。专用于人体检测的热量相机和立体相机为环境感知实施了替代方法。在沃尔沃卡车的演示器中，用于前方物体检测的常规传感器（前视摄像头，远程和中程雷达）已经与用于近距离物体检测的广角摄像头互补。

VRU检测的主要焦点是从热像仪图像中找到可靠的人体特征提取描述符。为此，我们选择了HOG（定向梯度直方图）描述符算法，该算法特别适用于人体检测[6]。该算法的思想是专注于物体外观而不是其他特征，即人类物体 的颜色或边缘形状。因此，该算法为在仅能检测到人体外观的困难条件下的人体检测提供了良好的起点。这些条件可以是黑暗，烟雾，雪或雨的条件，其中可以仅检测人的形状或“外观”。

我们使用了众所周知的开放式CV[9]实现，它直接基于原始的HOG[6]。此实现还包括一个功能分类模块，为我们提供了一个良好的检测起点。通过使用部分人类描述符（下半身和上半身）的特征来修改算法。当人类对象仅部分地显示在图像中时，这使得系统能够进行人体检测。

“图5”显示了算法的人体检测基本工作原理的流程图。第一部分是从热像仪中获取带时间戳的灰度图像，该图像突出显示较冷背景下温暖的物体。对于该图像，执行具有降噪的基本图像滤波。下一阶段是从图像中提取HOG特征并执行分类。该时期的输出是一组有趣的区域（ROIs）。这些区域代表HOG特征被归类为人类检测的区域。最后一步是使用基于位置，形状和大小规则的分类来过滤错误检测。这将删除人类物体之外的其他物体，即暖车，动物或其他温暖物体。

图5 具有从图像采集到对象选择的HOG功能的人体检测算法模块

3.2热成像仪

在我们的实验中，使用具有320x240氧化钒（VOx）非制冷微测辐射热计传感器阵列的FLIR热像仪。相机提供360°视野。在图6中，展示出了如何从热像仪看到人体物体。比深灰色背景更温暖的物体，以浅灰色显示。

开发的VRU检测系统基于称为定向梯度直方图（HOG）的特征描述符[12]。该算法最初设计用于从视频或图像序列进行人体检测。在这些实验中，已经安装了OpenCV库，它基于原始的HOG描述符[13]。通过使用用于分类的部分人类描述符（下半身和上半身）的特征来修改原始算法。使用单独的下部上半身描述符还能够检测仅部分在相机视图中的人。

3.3立体相机

除了热成像仪之外，还实现了用于人体检测的立体摄像系统。利用立体相机提升VRU检测的基本思想是首先使用HOG检测器从原始立体相机灰度图像中检测人体对象，然后从深度图像确定物体距离和位置。VRU检测也可以直接从深度图像执行，但是在这种情况下，不是使用HOG描述符，而是通过检测所有可能的障碍而不是仅尝试提取VRU来进行检测。

当摄像机安装在重型货车中并且靠近重型车辆结构的顶部时，摄像机从上部位置指向物体并且同时“隐藏”人的特征。图4是立体摄像系统和人物的上视图的良好示例。在这种情况下，只有人体上半身的一部分是可见的，因此不会产生可识别为人的特征。

对于用于盲点检测目的的障碍物检测，主要焦点是检测障碍物（VRU或更静止）是否有与移动车辆碰撞的风险。在这种情况下，注意到HOG特征对于使用所开发的算法的快速障碍物检测和分类而言太强。

图6 使用热像仪进行人体检测

图7示出了描述具有立体摄像系统的障碍物检测算法的阶段的流程图。在第一阶段，从相机获取两个灰度立体相机图像并过滤以去除干扰。从这些图像中，计算具有点云的视差图以给出车辆外部的距离图。在此示例中，一个对象（绿色）从背景中突出（橙色）。最后一个阶段是对距离图进行分割，以便提取感兴趣的对象。这些对象也可以使用基于对象大小和距离的轻量级规则算法进行分类。

使用具有639times;476图像阵列和57度视野的Vislab 3D-E立体摄像系统。在图8中展示了如何从深度图像和原始灰度图像中看到人类对象。从那里可以看出，来自相机传感器的灰度图像为人类检测提供了更好的分辨率。深度图像提供低分辨率深度图，其给出与车辆相关的被检测人员的位置估计。

图7 人体检测算法模块，具有从图像采集到对象分类的立体视觉

图8 立体视觉的人体检测

图9 ADAS传感器设置和车辆前方的视图

实验设置

此实验设置的目的是找到一种从不同来源收集数据进行演示的方法。在沃尔沃卡车中，前方产品ADAS传感器（前视摄像头，远程和中程雷达）配备了广角摄像头，用于短距离物体探测（见图9）。

数据来自训练专用的IVECO重型车辆内部信号，其中可获得大量有价值的数据（例如车道检测，轴载荷，远程范围，速度，破坏，发动机扭矩，转向角等）。除此之外，还安装了一些长距离和短距离雷达，立体摄像机，加速度传感器，GPS系统等，以确保从车辆和周围环境中读取足够可靠的信息（见图10）。作为该信息的结果，启动所选择的ADAS功能（例如，盲点检测，车道变换，启动和停止功能等）。根据实施的ADAS功能，系统会触发不同的警告设备（声音，语音信号，灯光，振动等），以便在必要时提醒驾驶员。训练案例的主要目的是监视驾驶员在他/她观察到警告信号时是否立即做出反应。

图10 依维柯驾驶员培训车辆中的环境传感器设置

测试卡车还收集有关驾驶员行为的数据。根据车辆（断开，加速，弯道行驶，转向方向盘等）以及安装在驾驶室仪表板中的驾驶员监控系统分析行为。监控系统检测驾驶员的注视和头部活动指数。已经为各种驾驶情况下的凝视方向变化创建了规则，这些规则基于仔细、经济、安全的驾驶和驾驶环境的感知。例如，当开始倒车时，驾驶员应该注意侧后视镜。或者，在更换车道时，驾驶员需要先检查镜子的可用空间。

在实验驾驶员培训测试期间，收集传感器在各种天气条件（

资料编号：[5271]