英语原文共 4 页，剩余内容已隐藏，支付完成后下载完整资料

用于停车辅助的基于视觉的障碍物检测系统

Yu-Chen Lin¹ , Che-Tsung Lin ² , Wei-Cheng Liu ³ , Long-Tai Chen ⁴

Mechanical and Systems Research Laboratories

Industrial Technology Research Institute

Hsinchu, Taiwan, R.O.C.

Davidlin@itri.org.tw¹ , AlexLin@itri.org.tw ² , weicheng@itri.org.tw³ , LTChen@itri.org.tw ⁴

摘要：本文提出了一种基于单目视觉的障碍物检测算法，用于后置摄像头的前置安全车辆的驻车辅助应用。为了有效地检测车辆后面的各种移动和固定障碍物，拐角进入后障碍物的特征首先通过来自加速段测试（FAST）角点检测方法的特征来估计。然后，逆透视映射（IPM）图像可以用于确定每个检测到的特征是属于候选障碍物还是属于地面。基于这些结果，还提出了分割和识别策略，以确定碰撞风险的程度和过滤掉非危险候选人。最后，可以容易且快速地提取IPM变换图像中的正确障碍物区域。系统可以向驾驶员提供基于视觉的警报，帮助避免与主车辆后方的障碍物碰撞。通过广泛的实验，我们已经表明，在典型的城市情况下的后方障碍物检测系统可以用于有效地提取障碍区域标记。该算法实现了高检测率和低计算能力，并在ADI-BF561 600MHz双核DSP中成功实现。

索引术语 - 停车辅助，后方障碍，FAST角，反透视映射

一 介绍

根据国家公路交通安全管理局（NHTSA）的研究报告[1]，美国每年至少有300人死亡，近18000人受伤。 这种悲剧通常发生在非交通情况下，例如在停车位或家庭车道的后退。 同样，这个问题已成为台湾的一个主要的公共安全问题。 此外，NHTSA发布了一项新的安全规定，告诉汽车制造商在2014年之前在所有客运车辆上安装一个后视摄像头，以便让司机目视检查盲区，这可以隐藏行人或障碍物的存在。

在过去几十年中，用于提高驾驶安全性的高级驾驶辅助系统（ADAS）变得越来越受欢迎。 其中一些采用激光传感器，如激光[2]毫米波雷达[3]或超声波传感器[4]，它们在检测物体（如行人，车辆或自主车辆周围的多种障碍物）方面非常坚固。 然而，激光器和雷达是非常昂贵的。 低成本和普通超声波传感器只能在潜在危险在75厘米以内时警告驾驶员。

相比之下，被动传感器（例如相机）提供了更实惠的解决方案，并且可以用于检测或分类障碍物并分析其行为，因为视觉信息非常丰富。

最近，许多基于视觉的障碍物检测系统已经在许多研究中被解决[5-17]。 Bertozzi et al。 [5]使用立体视觉作为检测障碍物的手段。 这种方法具有直接获得环境的深度信息的优点。 然而，其计算负担非常重，并且这种系统的成本明显高于单眼视觉系统。 此外，由于后视摄像机是商用车将装备的最常见的摄像机，因此采用它是合理的。

此外，一些研究试图检测路面区域，以提高物体检测的性能。 虽然路面检测有助于评估是否存在障碍，但一些假设是不可避免的。 在[9-11]中，道路面积被明确定义与结构，如街道，铺路或高速公路。 广林等。 [12]结合了基于边缘的检测算法，基于运动的算法和自由空间检测算法，用于对非平面地面进行建模，在停车期间检测后方障碍物。 然而，它假设道路边界总是存在，但大多数停车场没有道路边界。 此外，通过基于颜色的分类器消除车道标记，但是在低或不均匀照明下颜色信息不稳定。

另一方面，使用光流法[13-15]估计移动障碍物的运动已被广泛使用。 然而，其计算复杂度非常高，并且本身难以在实时嵌入式系统上实现。 此外，当障碍物和主车辆之间的相对速度非常相似时，运动估计的结果是可能的故障。 此外，一些研究[16,17]在连续帧中使用IPM方法和帧差分法来判断是否有障碍物在地平面以上。 然而，它们的差异图像基于IPM图像。 这种方法需要大量额外的存储器来存储当前和先前的IPM图像，并且难以在仅具有有限存储器的嵌入式系统上实现。 此外，在帧差分之后，道路标线仍然存在。

为了解决高度复杂的障碍物检测任务和提高我们提出的系统的可靠性，我们提出一种纯后视摄像机为基础的移动和固定障碍物检测算法的停车辅助应用程序。 即使在伴随大量背景干扰的极端环境下，也能够成功地检测到地平面以上的障碍物。 所提出的算法的性能通过在不同的停车场景下广泛测试来证明。

二 系统总览

目的是呈现如何处理由后视摄像机捕获的输入图像，以在后退操纵期间检测移动障碍物和固定障碍物。 可检测的距离高达6米，这大约是停车位的大小。 我们提出的障碍物检测算法的完整流程图如图1所示。

图1. 障碍物检测算法流程图障碍物检测算法流程图

这里，假设相机事先被离线校准;因此，内在和外在参数是已知的。为了考虑在仅具有有限的硬件资源并且实现更好的系统性能的嵌入式系统上的实现，感兴趣区域（ROI）的下采样率是必要的和明确定义的。然后，为了确定是否存在任何障碍物，采用帧差分法。该方法有效的原因是背衬机动是连续运动并且仅在短时间内保持静止。通过区分分别在时间t和时间t-1的两个连续原始图像并对它们进行阈值处理，可以粗略地确定属于接地平面上方的障碍物候选的分量。接下来，一个强大的角检测算法称为（FAST）[18]应用于原始图像。如果属于原始图像中的分量的角之间的距离在IPM变换之后被拉伸，则这种分量将被认为是上面的障碍物地平面。一旦在警告区域中识别到障碍物，将激活语音警报和图像记录。

三 障碍物检测算法

为了实现障碍物检测系统，同时考虑硬件平台的成本和算法的检测率。 本文的贡献是提出一种可以在成本效益嵌入式实现的算法平台，即ADI-BF561 600MHz双核DSP。 以下部分提供有关此过程的详细说明。

A.预处理

输入图像的分辨率为720times;480，每个像素为24位。 原始大小为581times;324像素的ROI覆盖8米范围内的范围。 因此，可以排除一些不期望的干扰，例如交通灯，夜灯和背景物体。 为了不消耗太多的计算能力，ROI图像被下采样到145times;81像素，并且仅提取图像的亮度通道（Y）用于后续处理。通过在时间t和时间t-1分别区分两个连续的图像，提取在地平面上方的障碍物。 阈值处理后的结果图像应用可以加强特征的形态操作扩张。 因此，部件的尺寸被放大。 同时，破碎的区域，洞被填充。 如图2所示，很容易看出它们的轮廓被提取。 这样的处理有助于随后的分割和识别。

图2框架差异与膨胀

B. 障碍候选细分障碍候选细分

通常，障碍物具有显着的特征，例如拐角。帧差分产生的分量将消除背景噪声。因此，只有包含角的分量是可能的障碍物候选。我们采用的角检测算法是FAST。其最有希望的优点是其计算效率。它非常适合于实时图像处理应用，因为它具有高速性能。其基本思想是使用一个N个像素的圆来分类候选点p是否实际上是一个角落。如果圆中的N个连续像素的集合都比候选像素p的强度加阈值t更亮，或者全部比候选像素p的强度减阈值t更暗，则p被分类为角。从帧差分获得的分量用连接分量算法标记以消除不包含角的分量。消除结果是分割的候选障碍物。

图1中的红色星号。图3（a）是通过FAST检测到的角。图3（b）中的蓝色圆圈表示不属于任何分量的角。消除结果如图3（c）所示。

图 3. 障碍物候选分割的结果

C. 直立障碍物检测

在地平面上的障碍物的非常独特的性质是角部之间的距离在鸟瞰图像中被拉伸，如图1所示。经由IPM变换获得鸟瞰图像，该IPM变换是投影3D对象的2D透视图的每个像素的几何变换技术，并且将其重新映射到新位置并且在逆2D上构造新图像平面。相反，这将导致道路的鸟瞰图像并去除透视效果。这种技术提供了知道任何任意坐标之间的距离（如果它们属于接地平面）的能力。然而，在应用IPM变换之前，必须提前进行失真校准和相机校准。为了不消耗太多的存储器，只有失真校准方程和固有和外部参数被预加载在嵌入式系统中。因为在我们的算法中将仅转换有限的坐标，所以不需要存储用于降低计算能力的整个查找表的传统方法。

图4. IPM图像中的延伸角落

基于在IPM图像中角点之间的距离将被拉伸的关键观察，我们对待候选障碍物的验证作为分类问题。 让和分别作为原始图像和IPM图像。T表示时间参数。假设有n个候选障碍物，由表示同样的图像。原始图像中的是一个角落属于候选障碍检测，同时在IPM图像中被定义为

M是候选障碍的角数量；

与是和的第i个候选的第j个角。为了找到合适的候选障碍。

两个条件必须实现：

和

和分别是占领原始图像和IBM图像的候选障碍物像素。是y轴上的拐角拉伸阈值。是面积比。因此，达到上述阈值的障碍候选被认为是在地面以上的障碍物，如图5（a）所展示。在图5（b）中，绿色矩形展示原始图像中描绘的检测结果。

图5.基于角对的成功识别结果

四 实验结果

所提出的系统在ADI-BF561上实现600MHz双核DSP嵌入式系统和图像由136度水平FOV鱼眼摄像机捕获，安装在车辆牌照的顶部。这个系统在后台将仅在驱动速度下30公里/小时被激活。本相机的帧速率为30帧每帧的大小为720像素times;480像素。假设相机被离线校准

预先;因此，失真多项式参数，内在参数和外在参数存储在记忆中。原始图像中的角坐标为

只有当它们属于同名组件时，才会转换为IPM。

不同障碍物的检测结果如步行或跑步行人或固定障碍物背景演习中的不同场景如图1所示。绿色和红色矩形表示ROI和发现障碍物。根据图6（b），可以看到即使障碍物的纹理像素相似对于背景，我们的算法还是有能力的检测它们。

正如图6（c），6（d）所展示的，静态的大小障碍物分别为30cm 30cmtimes;50cm和30cmtimes;30cmtimes;100cm，我们可以看到，无论多大，无论如何障碍多远，仍然可以察觉。 我们的提出的算法能够可靠而准确的检测在低速时支持机动的障碍计算效率满足实时性要求处理。

图6不同停车场的实验结果

五 结论

在本文中，我们提出了一个完整和小说利用帧后方障碍物检测算法差分法，角点检测和IPM变换在鱼眼后视摄像头上。 帧差分法是首先应用于连续图像。 然后，形态学技巧用于增强组件的功能。 最后，提出了分割和识别策略以确定上述障碍候选人地面飞机。

我们提出的算法的所有实验结果表现令人满意，实现有前途检测率。 当我们的目标是直接使用我们的系统自动碰撞预警系统，我们不需要具体的或复杂的人机界面（HMI）来警告驾驶员当检测到移动时。 其实，对于发展而言演示目的为图形（突出显示检测显示对象）和听觉（警告声）HMI目前使用。

未来，所提出的障碍物检测系统可以与后方碰撞警告系统，后车道偏离警告系统和后方事件录像机进行整合提高高速驾驶和低速度的安全性支持机动。

参考文献

[1]. NHTSA: “Vehicle backover avoidance technology study,” Report to

Congress, Nov., 2006.

[2]. C. Jinshi, Z. Hongbin, Z. Huijing, and S. Ryosuke, “Laser-based

detection and tracking of multiple people in crowds,” Computer Vision

and Image Understanding, pp. 300-312, 2007.

[3]. D. Y. Zhu, and Z. J. Xu, “The study of vehicles anti-collision early

warning system based on fuzzy control,” International conference on

Computer, Mechatronics, Control and Electronic Engineering, pp. 275-

277,Aug 2010.

[4]. A. Naik, and M. S. Panse, “Modeling of ultrasonic sensor for range

measurement for visually impaired,” International Journal of

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[138642]，资料为PDF文档或Word文档，PDF文档可免费转换为Word