英语原文共 10 页，剩余内容已隐藏，支付完成后下载完整资料

基于空中交通监控视频的车辆检测

Dmitry Sincha, Mikhail Chervonenkis , Pavel Skribtsov

PAWLIN科技有限责任公司，Dubna，俄罗斯

摘要：该作品描述了基于无人机（UAV）的图像和视频的车辆级联检测。我们在检测中使用的一些新的方法。特别是ROI（感兴趣区域）的搜索不仅基于GIS和导航数据，而且还采用了基于快速图像分割及道路检测的目测法。该作品还提出了应用超像素技术和可训练四级级联的探测器做ROI分割，而这种探测器使用人造神经网络作为分类器。基于几何和纹理特征和由非线性自编码器从图像块中提取的深特性来分析的区域（结合超像素）的特征，为了提高移动车辆的检测质量，本文提出了基于光流分析的独立检测器。提出的检测算法以现实的无人机视频为基准且显示出足够高的精度。该算法的表现允许支持无人机机载使用。

关键词：无人机（UAV），车辆检测，道路检测，超像素，深度学习

介绍

无人机的普及使得基于航空照片和视频的车辆检测问题变得更加重要。车辆检测主要可以用在道路和大型停车场的监视的自动化中。有关自动车辆识别论文早已有所著述，例如（夸夫曼，2006）。

Kim和Chervonenkis（2015）的论文说明了无论安装在移动或静止的车辆上的车载识别系统对于自动检测和交通状况分类的重要性。在这项研究中他们提出了用级联法来进行车辆的识别。在这些论文中（Kim和Chervonenkis，2015年;阿布拉莫夫等人，2015）提出使用图像分割成超像素，并将它们在区域间的联系作为补充，这种方法也可用于本文的算法。这些论文受到（崔阳，2009）论文的启发，在崔阳的这篇论文中为提取图像的斑点（超像素）在LUV的色彩空间中采用了均值漂移分割。随后，所得斑点的对称性由基于复杂Gabor函数的过滤器证实。此外，形状的信息也被使用。每个斑点的形状是通过测量斑点的中心和其周围边缘之间的距离和方向来计算得出的。作者指出，往往同一辆车由于前后挡风玻璃强度的差异而被检测出多个斑点。因此，需要斑点（超像素）聚类程序，这在之前提到的论文中也有所论述。对象区域作为一个局部的描述允许使用它的分类对象的形状的特征。

在很多论文中已经提出使用纹理特征来检测车辆：Kembhavi等（2011）采用方向梯度直方图（HOG）功能; Nguyen等（2006; GRABNER，2008;毛特纳等人，2010）使用局部二进制模式（LBP）的功能和HOG特征; Gleason等人（2011年）处理功能HOG和Gabor直方图系数特性。深入分析这些论文表明HOG特征对汽车的检测质量有主要的影响。这些特征在我们级联的两个阶段将会被使用。

发达级联的最后阶段处理移动对象的特征以及通过非线性自编码器的方法对图像片段进行分析的基础上而建立的特征。

所提到的论文（Kim和Chervonenkis，2015），详细介绍了使用无人机对道路交通监控的方法，并提出了基于严重性交通状况识别和分类的方法。在这项研究中，我们描述的无人机自动控制。在识别和分类友好状况下使用所识别和跟踪的车辆的特征，特别是，诸如车辆的速度分布的直方图。但对于车辆检测器的描述不是很详细。

我们研究的总体目标是开发一种新的多层级联车辆检测器，能够以足够的速度车载运行。该方法的新颖之处在于为级联探测器选择在一系列特有的几何形状，质地，深度以及运动特征时，能够识别出ROI分配道路的面积。其中提出的几何特征包括椭圆尺寸和椭圆偏心，边缘密度，识别对象作为统一的超像素的使用已成为可能。深自编码器特征以及基于匹配的区域和车辆的边界的精度估计的制备学习样本的的方法的应用对这类问题而言也是全新的。

方法论

基于图像车辆检测算法的功能框图如图1。

图1.车辆检测算法功能图

该算法输入端从UAV机载相机（静止图像或视频流的影像）接收一对连续的RGB图像，同时车辆搜索在最早的一个输入（操作的）中展开。我们认为机械稳定的机载摄像头执行最低点拍摄。

图像预处理决定了操作区域的规模，而操作区域具有以下ROI（ROI）的二进制区（S）信息。比例系数由导航数据计算出来，导航数据以由UAV执行摄像时的飞行高度决定的处理单元为基础。缩放允许减少飞行高度对车辆的检测质量的影响，并改善整个系统的性能。如果机载系统有数字地形图，基于处理单元导航数据会生成用于操作图像的倾斜矩形。这个矩形定义了带有路边及周边地区信息的道路，这样可以车辆在发生事故的情况下，迅速达到该位置。在实践中，通常形成一个矩形。然而，在某些情况下，（在道路，十字路口，分叉道路急转弯等）执行单元会通过几个略微相交矩形定义感兴趣的区域。当机载系统不包含该区域足够详细和准确的数字地图，或者在UAV位置和方向的判断精度低的情况下，ROI搜索由道路检测单元执行。

自动视觉ROI决策单元

自动ROI决策的视觉方法包括测定含有的全部或几乎全部道路的未指定形式的区域（或掩模）的图像。该算法如下：

1）首先，原始图像的快速分割开始进行。各个段以及相对均匀区域都与此有关。在这种情况下，对彩色图像进行了分析。色彩空间最初分为数量有限的固定簇。在最简单的情况下，这可以是一个小（例如，8）数量的亮度的灰度等级。在一个更复杂的情况下，像素的所有颜色都要考虑在内。属于同一颜色群集像素连接的区域被集中到一个段。同时随着段的创建，快速计算其第一和第二阶的片段。在第二阶的中心片段的基础上，计算段分散椭圆的参数：轴尺寸，延伸率（偏心率）和主轴线的方向。 （在下文中，椭圆的长轴被称为段轴）。第一阶的片段被视为一个段的中点的坐标.

2）接着的步骤是接收到的段的过滤。首先，排除亮段是必要的。然后是小的，没有足够的伸长和非常大的段也要排除，选择过滤阈。

3）一些片段要放在一起。为了这个目的，所有可能段都应该被考虑。段仅在特定条件下接合在一起。特别是，段的中点之间的距离应小于各段的轴线乘以一个参数，段的取向必须变化很小（小于一个参数，在我们的情况下，5-10°之间）。或许也有连接的段的颜色的接近度的限制。在每个段结合的时刻的基础上计算出段结合的时刻。

4）已经结合的段将以同样的方式和其他的段结合。

所有接收到的段将要进行道路相似度的检查。段的轴线应接近原始图像的相对的两侧。

所有满足这些条件的段将会被结合，这就是希望得到的感兴趣的区域和掩模。

图像区域的提取表现出操作图像的片段（被认为是ROI的掩模），然后使用所产生的片段区域创建图像区域。最终的区域被认为是潜在的车辆。

为了选择合适的分割算法，对以下超像素提取算法进行了比较： Felzenszwalb-Huttenlocher分割（FHS）（Felzenszwalb和Huttenlocher，2004），SEEDS（宏达等，2012），SEEDS Revised（斯图兹，2014年; 2015年），SLIC（Radhakrishna等，2012），基于模型的聚类（MBC）（钟和戈什，2003年），快速移动法（Vedaldi和Soatto，2008）。高的平均图像处理时间，使MBC和快速移算法不适合无人机载使用。 因为分割的质量差，SLIC算法不适用（用于这三种算法的详细比较，参见阿布拉莫夫等人，2015）。对 FHS，SEEDS和SEEDS Revised算法进行以下特征的比较，这些特征都不考虑ROI掩模：

（1）平均图像处理时间;

（2）超像素图像的平均数量;

（3）车辆被划分的超像素的平均数量;

（4）由分割错误和边界召回决定平均车辆分割表现。

在（1） - （3）的特性影响整个车辆检测系统的性能。所使用的分割质量指标（纽伯特和普罗茨尔，2007）中给出。所述亚片段错误（UE）的指示器（式1）表明的一组超像素如何遵循车辆形状而覆盖车辆：

(1)

其中： =覆盖车辆的S超像素的数量

=车辆区域的边界外的S超像素的像素数的车辆覆盖的像素数

N =车辆区域（像素数）

边界召回指示器显示车辆涵盖超像素的边缘该车的边界的相似度。指示器显示的是车辆边界的像素占车辆周围预定半径的车辆覆盖超像素的百分比。用于表征图像片段质量的指标如图2所示：

图2.分段错误（左）和边界召回（右）解释图片

（左）红色矩形表示车辆。 B，C，E和F超像素覆盖车辆。每个这样的超像素pin表示为绿色部分和Pout表示为黄色部分（式1）。 （右）的矩形示出了边界象素：黑那些属于车辆，蓝色的属于该车辆覆盖超像素。上边界车辆像素不在覆盖边界超像素d半径内;下边界车辆像素具有这种像素。

SEEDS Revised算法的特征在于最大的操作图像处理时间（表1）。相比之下，SEEDS算法是最快的，但它将车辆破碎为最大量的像素，同时也导致生成最大量的检测区域。选择作为操作图像分割算法的FHS算法是最均衡的。

表1 图像分割算法的比较

FHS算法的第一个步骤正如Felzenszwalb和Huttenlocher的论文（2004）中介绍的那样是加权图的构建。图中的每个边缘表示两个相邻图像像素的联合。边缘的权重是根据像素之间不同的尺寸决定的。权重计算通常的做法是像素的RGB值之间的欧几里德距离。在这项研究中，我们使用在Lab色彩空间的加权欧几里得距离。该算法的下一个步骤是将图像的边缘按照升序进行排列。遍历排好序的边缘的表格就能够通过使相似的像素结合的方式创建超级像素（由不相交的树表示）。超像素的大小由像素相异阈调整。

使用FHS算法时，车辆通常可以很好地用一至四个超像素（表1）近似。因此，除了要对超像素进行分析外，有必要进行相邻超像素的复合体的分析：“一双”“三分”和“四分”的。但是成熟的车辆检测算法的测试表明，使用“四分”的时候，车辆检测质量指标略有改善，但性能显著降低。因此，所有可能的超像素应被视为图像区域，包括相邻超像素的对和至少有一个是与其他两个相邻的三个超像素的结合体。作为操作图像的估计的结果（图1），可以建立区域尺寸相近的粗略阈值而不创建那些显然不是车辆的区域。

除了有关超像素组件的信息，每一个区域都被描述为一个中心椭圆。 C是按照该地区所有N个像素计算的第二中心矩矩阵

)(2)

(3)

中心椭圆的中点是由3式定义，椭圆大（a）和小（b）的轴线及其方向，即长轴和OX轴的正方向在有效图像的坐标系统中夹角Theta;。这个角度的计算方法如下：

(4)

(5)

)(6)

(7)

我们使用中心椭圆的半轴尺寸比由式4和5计算出来大两倍。使用这样的椭圆作为区域（上方的倾斜矩形，凸起的外边缘等）的压缩表示的优势是可以减少分割片段参数的错误。运算图像（应用ROI掩模）例子和它的一些区域如图所示。

图3.用椭圆描述车辆的效果

区域级联过滤器提供了区域的二元分类，由中心椭圆表现为以下几类：“车辆”和“其他”，随后提到了第二类区域的过滤。分类是按照级联原则进行：对于指定地区提计算，其中后阶段的级联要花费更多的时间。在级联的每一级的分类器（MLP）都使用了多层感知。

在级联的第一级，用以下特征来描述一个区域：半轴的长度（a和b，age;b），中心椭圆的偏心率：

(8)

边缘密度为：

(9)

（这里的NE-是指宽times;高尺寸窗口内的边缘像素数）。为了计算的最后一个特征（），可操作的RGB图像被应用到一个可使用Canny算子中提取边缘掩模的单通道半色调中来。由在本阶段的级联的分类器的训练过程中自动地选择Canny算子使用的两个阈值。在那之后，建立允许使用3重运算（1加法和减法2）NE值的边缘掩模整合图像。该区域的窗口是由最小直接矩每边形延伸中心椭圆的50％而得到。每级神经网络分类器的配置是4：14：1。

在级联的第二和第三阶段中，除了中心椭圆不同地区的偏心，还需要计算一个HOG描述符（梯度方向直方图）。描述符的原始版本是由（达拉尔，2006年达拉尔和Triggs，2005年）为解决在静态图像中行人检测问题而提出的。目前描述符和它的变型在许多算法中成功地用于检测不同的对象。特别是在绝大多数的对静态图像的车辆检测的现代算法不使用包括HOGdescripto

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[150178]，资料为PDF文档或Word文档，PDF文档可免费转换为Word