英语原文共 7 页，剩余内容已隐藏，支付完成后下载完整资料

传感器 2014, 14, 20297-20303; doi:10.3390/s141120297

OPEN ACCESS

开放存取

传感器

ISSN 1424-8220 www.mdpi.com/journal/sensors

编辑

基于前视红外意象（FLIR）的目标检测与跟踪的研究进展

Andrea Sanna * and Fabrizio Lamberti

都灵理工大学, 自动数据处理系, 阿布鲁齐公爵24岁, 都灵 10129, 意大利; 邮箱: fabrizio.lamberti@polito.it

• 作者联系方式; 邮箱: andrea.sanna@polito.it; 电话.: 39-011-090-7035; 传真: 39-011-090-7099.

编辑: Vittorio M.N. Passaro

接收日期: 23 October 2014 / 采用日期: 23 October 2014 / 出版日期: 28 October 2014

摘要: 这里我们以传感器为背景来研究“基于前视红外的目标检测与跟踪”。我们首先通过基于前视红外检测与跟踪所面临挑战的概述，来介绍红外图像在当今视觉应用方面的作用。然后我们要说明为什么要挑选这些文件来作为所研究领域的代表，是因为它们对于国家的发展进化做出了主要的贡献。 最后，我们总结了主要的已发现的证据，强调那些值得在未来进一步调查的研究方面。

关键词: 前视红外图像；红外传感器；热；自动目标识别；跟踪；检测；分类；注册；特征提取；模板匹配和更新；行为识别

1. 引言

目标检测和跟踪是许多基于视觉的应用的关键部分，比如监控、车辆导航、驾驶辅助、活动识别等。 因此,文献中已经提出了一些算法，来解决来自对象的外观变化、遮挡情况，传感器自运动等所产生的问题。多年来，研究主要集中在可见光频段 ，通过开发有效的方案来解决单个或多个立体相机面临的问题。不幸的是，在恶劣的能见度条件下，单独基于可见光传感器的方法被证明是无法提供完全满意的结果。

最近，技术进步使得红外传感器的生产成本大幅降低. 因此，被长期限制在军事领域的红外摄像机开始广泛用于工业和民用领域。注意力现在专门针对波长在8-12nm范围内的长波红外（LWIR）和前视红外（FLIR）传感器，因为它们在夜间或者通过烟，雾，霾等也能看到热源。事实上，在红外图像中，一个物体的成像强度主要取决于温度和辐射热，它不受光照条件，物体的表面特征影响。

红外光谱被认为不仅要处理特定能见度下的检测和跟踪问题，还要能解决只有可见光状态下工作的情景。 因此，追求一种方法融合来自两种传感器的信息，以便最大限度地发挥其长处的积极作用，同时限制其劣势的方面同时出现。 例如，在拥挤的环境下，用可见光图像来检测和/或跟踪行人时，衣服的颜色可以被用来解决可能发生的阻塞。在夜间，红外传感器将有助于处理缺乏颜色信息的情况。然而这时行人签名将变得非常相似，并且在重叠的情况下，是很难（基本上不可能）区分出他们的。

前视红外图像的检测与跟踪可以合并其他重要因素。事实上，现实生活中用于拍摄的图像监控摄像机，无人机和其他固定或非固定的传感器，其通常特征是有限的分辨率，对比度差，以及信噪比低。然而，在红外和可见光域之间，不仅存着重要的协同作用，也存在着挑战。比如，继续讨论刚才关于行人检测与跟踪的例子，无论是可见光还是红外技术在识别不断变化的特征方面都是十分困难的， 因为人类行走运动和社会行为的内在复杂性，其运动轨迹难以预测。

面对这个特殊的问题，我们试图总结一些主要的发展趋势。可以发现在当今的对策是基于前视红外图像的目标探测与跟踪，在一个相当广泛的情况下，基于红外光谱的算法和相关传感器受到越来越多的关注。

2. 正文

共11篇文章发表在本期特刊，涵盖各种相关主题所分析的域。第一种方法是考虑解决多应用领域的问题，包括了地面微小目标检测（EO）或海船用传感器，对人类[3–6]、动物[7]和军用车辆[8,9]用于自动跟踪的视频序列标注。另一个有趣的一点，可能被采纳的观点涉及检测和跟踪的FLIR图像的具体问题，实际上是所报告的技术问题：图像配准[ 11 ]，目标的表示和识别[3,7–9]，遮挡处理[4,6]，多目标关联[ 10 ]，杂波去除[1,2]和延迟减少[ 5 ]。最后，一个有趣的观点是通过考虑各项工作提出了新的算法，适应或结合公知的技术（如稀疏编码，粒子滤波等）常与可见光图像中使用，以适应在红外光谱[1,4,8]的要求，或是简单地研究如何替代现有的域，目的是为了刺激进一步的研究的进行[9,11]。

特别是，Li 等报告了一个新的针对由地面光电传感器产生的红外图像，基于稀疏表示的弱小目标检测算法。 在里面考虑的情况下，目标通常是非常小的（只有几个像素），常被淹没在噪声和杂波里。他们考虑到，在非结构化的目标工作时，采用自适应形态成分过完备词典（或以下简称词典）可以改善代表系数向量在一个结构完整的词典使用的稀疏性。不过，有原子代表目标和背景混合在一起时，前字典可能仍然缺乏能够正确检测目标信号的稀疏水平。常用的解决上述包括手动识别目标信号限制的方法是建立一个目标字典（以及利用背景杂波训练背景字典）。然而，这些离线操作组织了原子级目标在判别式字典中正确地适应移动目标和不断变化的背景。因此，作者提出了一种自动识别靶原子的技术。特别是，他们首先建立一个使用奇异值分解（K-SVD）的自适应形态的非结构词典。然后，一个目标词典被按照背景词典的标准识别，靶原子可以通过高斯字典比背景词典分解更稀疏。实验结果表明，该技术可以实现比基于伽柏和高斯结构字典方法更好的性能，同时比较与网上手动分类的在线学习型字典强化了目标和背景的稀疏特征差异。

Kim 和 Lee[ 2 ]关注于海上红外搜索和跟踪，并提出了一种适用于小目标检测，能够减少由于云边缘线的地平线和阳光闪烁的影响产生的错误检测，区域自适应杂波抑制方法。该技术包括一个后台处理和目标处理阶段。在后台处理阶段，传感器构成的信息被用来执行一个对天空，地平线和海域的自动分割，然后在目标处理阶段分别处理。特别是，一种改进的均值滤波器（MSF）用于地平线上的区域去除跨水平线异质性造成的杂波（和线本身），而局部背景自适应双阈值的框架是用来决定哪些像素属于目标对象。天空区域用AdaBoost分类器，利用各种空间特征（标准差、第二阶矩、大小比例、旋转的大小变化，等）从云杂波中消除错误检测。 最后，利用一种基于时间一致性滤波器的三点图相关性对海域进行处理 。在实验测试中，所设计方法的组件与传统技术相比，已经在计算复杂度方面表现出改进的性能，在错误检测能力方面持平或检出率略微下降。

Fernaacute;ndez-Caballero et al. [3] 提出了一个有趣的算法，从红外视频序列中对行人的感兴趣区域（ROIs）进行鲁棒提取，得出与图像和运动相关的信息。 该算法包括两个并行的预备步骤，称为“热分析”和“运动分析”。在前一步， 一组假定包含一个或多个行人的候选区域通过自适应阈值和形态学运算来提取。在后一步，是把两个连续帧图像相减，通过判断所谓的“热”像素是否达到给的的阈值来却确定两帧之间的差异；连接起来的“热”区域构成另一组候选ROI。从以上的初步分析步骤的结果是一个“ROIs”融合处理阶段，它负责通过总结或重叠候选区域创造了一个新的ROI。然后应用基于直方图滤波技术在感兴趣区检查多个行人基团的存在。如果ROI被发现包含一个以上的行人，则提取子区域，假设每个子区域只包含一个行人。最后一个阶段通过比较ROI的纵横比，标准偏差来确认一行人是否实际存在以及人体型号的大小。

Li 等人 [4] 讨论了识别和跟踪的关系（相关性），提出了一种基于稀疏编码的自动目标识别与跟踪（ATR）框架。连续帧跟踪同一目标的信息用来动态更新字典与目标模板，从而提高识别性能（“跟踪用于识别”）；同时，一个给定的对象提供的识别信息，用于改善多个对象的跟踪，例如，在频繁闭塞的情况下（“识别用于跟踪”）。因此，它们首先使用时间冗余，从已知的相同对象导出代表（在不同的时间），运用不同的模板，其中每个模板作为一个独立的分类器，并结合多分类器的结果一起。然后，他们实现了一个非本地词典更新策略，根据识别结果，有一个显着概率的闭塞发生时，切换到一个默认的模板。实验观察表明，它们的联合跟踪和识别方法可以显著提高精度和鲁棒性（纯）稀疏编码识别和增强的性能，以及基于稀疏编码的跟踪性能。

Paravati and Esposito [5]考虑到ATR前视红外成像问题的计算复杂性的角度，基于还原域空间相关技术的模板匹配，提出了进一步提高高速跟踪性能的机制。特别的是，他们专注于一个基于极小内核强度变化函数的跟踪滤波器，并使用动态阈值的相关度计算上述功能的连续帧，以减少被处理的点的数目。从不同的公开数据的数据集上进行的测试表明，所提出的解决方案通过保持一个大致相当的鲁棒性能够显着地减少（已经很低的）参考方法的延迟时间，然而代价是一个相当高被实验确定了的花费。

Gade and Moeslund [6] 着眼于闭塞的问题，并提出一种基于红外图像的行人跟踪算法，它利用一个独立部分遮挡行人斑点的新技术，对于单一的行人，重构了其可能分割的形状。大型斑点是通过凸壳中的缺陷来分割，而广斑点是考虑他们的纵横比和周长来分离。错误的斑点分隔则是用矩形掩模连接，其大小应该是能够包含一个行人并通过计算前景像素在该地区的比例。

如果该比率超过一定的阈值，则与其他接近矩形重叠评估和确定是否斑点来自相同的形状。上述遮挡处理技术是一种基于集成卡尔曼预测器和一个基于多目标跟踪解决方案连续能量的最小化策略 (CEM) 。虽然该算法需要若干参数被定义，然而在体育视频中的实验结果已经确认了该技术的适用性。

Christiansen 等. [7] 提出了一种基于红外图像的，用于农业机械以防止误伤野生动物的自动检测和动物分类算法。 检测基于一种新型的在平移、旋转、缩放等情况下也能保持大致不变的热识别标志。在任何框架下，动态阈值用来检测可能的ROIs。然后迭代技术应用于从任何给定的ROIs中提取所有可能的轮廓（通过除去在每个迭代所提取的轮廓）。ROI签名被表示为通过每次迭代中轮廓的平均强度值定义出的轮廓。签名是归一化的离散余弦变换（DCT）系数。分类则是采用K最近邻(kNN，k-NearestNeighbor)分类算法，并结合时间（跟踪）信息。实验结果是从图像捕获的高架平台获得的，作者做出了有趣的观察，最终将推动他们的技术在现实生活中的监控环境进一步发展，例如，未来整合他们的技术到无人机方面。

Gong 等 [8] 提出了一个有趣的跟踪，识别和分割基础上的形状感知水平集框架。该设计方法支持任意角度下的不同目标鲁棒ATR。 首先，目标的形状由依靠联合视图身份歧管建模（jvim）。JVIM 是从一套三维CAD模型生成的二维模型，代表不同的目标类型和形状变化。 通过考虑不同的目标有不同的看法歧管但是要保持各自身份独立，所以作者定义了JVIM来嵌入一个独立身份的视图和无限的视角，然后可将其内插来描述目标。然后，实现识别的隐式形状匹配（不需要任何预处理或特征提取步骤）则是通过形状感知水平集能量函数（另外作为分割方法）。最后，通过引入一个（基于粒子滤波的）支持强大的顺序形状推理动态运动模型进行跟踪。在公共数据集上进行的实验测试证实了开发显式的形状匹配方法技术的优势。

Alam 和 Bhuiyan [9] 提供一个最近报道的匹配滤波相关技术的全面概述的特点，已被证明是能够提供相当有趣的结果（主要是计算复杂度和鲁棒性方面），适用于孔径和激光雷达图像，但尚未被广泛应用于红外领域。然后，他们的实验分析显示性能可以通过自动跟踪红外图像序列中的目标等方法实现。特别是他们专注于（扩展）最大平均相关高度（E /马赫）和被用来检测和分步分类的（多项式）距离分类器相关滤波器（P /图表）滤波器。初步结果表明，匹配滤波相关技术是ATR FLIR图像中的一个不错的选择，虽然即席策略必须动态地适应目标模型基于特定图像传感器的分析处理。

Hammoud 等. [10]提出一种

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[150166]，资料为PDF文档或Word文档，PDF文档可免费转换为Word