英语原文共 8 页，剩余内容已隐藏，支付完成后下载完整资料

在线目标跟踪：一种评估基准

吴毅 Jongwoo Lim 杨明玄

摘要

目标跟踪是大量计算机视觉应用中的最重要组成部分之一。近年来，在努力共享源码和数据集已经取得了很大进展，但开发一套库和基准用于衡量当前最先进的跟踪算法仍然是必不可少的。在简单回顾在线目标跟踪的最新进展之后，我们用各种评估标准进行大量的实验，从而了解这些算法是如何执行的。测试图片序列使用不同的属性进行标注，从而进行性能评估和分析。通过分析定量结果，我们获得了有效的鲁棒性跟踪方法，并给出了目标跟踪在该领域未来的研究方向。

1. 介绍

目标跟踪是计算机广泛应用中最重要的组成部分之一，比如监视、人机交互和医学成像 [60,12]。在给定视频某一帧中，目标的初始状态（例如，比如位置和尺寸）是给定的，跟踪的目标就是评估出后面连续帧中目标的状态。即便目标跟踪问题已经研究几十年，近年来也取得很大的进展[28, 16, 47, 5, 40, 26, 19]，但它仍是一个非常具有挑战性的问题。还有太多的因素影响着跟踪算法的性能，例如光照变化、遮挡和混乱的背景，直到现在也并不存在单一跟踪方法可以成功处理所有的场景。因此，评估这些最先进的跟踪器的性能以展示其优势和弱点是极其重要的，并且有助于确定该领域未来的研究方向，从而设计出更加鲁棒的算法。

为了进行全面的绩效评估，收集具有代表性的数据集至关重要。在监测场景中存在多个视觉跟踪的数据集，比如VIVID [14]，CAVIAR [21]和PETS数据集。然而，这些监控序列中的目标对象通常是人或小尺寸的车，并且背景通常都是静态的。尽管有一部分普通场景下的跟踪数据集[47, 5, 33]用边界框标定好了，然而大部分都没被标注。对于那些没有标记真实目标的序列，它是十分困难去评估跟踪算法的，因为报道结果是基于不一致的对象标注位置。

最近，更多的跟踪源代码已经公开发布，比如OAB [22]， IVT [47]，MIL [5]，L1 [40]和TLD [31]算法，这些算法被广泛用于评估。然而，大多数跟踪器的输入输出的格式的不同，因此对于大规模的性能评估来不是很便利。在这个工作中，我们建立了一个代码库和一个测试数据集，其中代码库包括了大部分公开可得到的跟踪器和一个标注了真实目标的测试数据集，有助于评估任务。另外，在数据集中的每一个序列通常使用会影响跟踪性能的属性进行标注，比如遮挡、快速运动和光照变化。

评估跟踪算法时一个常见的问题是，结果仅仅基于少量不同初始条件或者参数来报道的。因此，这些结果并未体现算法的整体观点。为了公平和综合的性能评估，我们提出从空间和时间上扰乱真实目标位置的初始状态。虽然初始化对鲁棒性的重要性在跟踪领域是众所周知的，但是在文献中却很少被提及。就我们所知，本文是解决和分析目标跟踪初始化问题的第一个全面工作。我们使用基于位置误差度量的精确度图和基于重叠度量的结果图来分析每一个算法的性能。

这次工作的贡献体现在有以下三方面：

数据集 我们建立了一个包含50个完全标注好的跟踪数据集以便于跟踪算法的评估。

代码库 我们将 大部分公开可获得的跟踪器整合到我们的代码库中，并且统一了输入输出格式，以促进大规模的算法评估。目前包含了29个跟踪算法。

鲁棒性评估 用于跟踪的初始边界框在空间和时间上被采样以评估跟踪器的鲁棒性和特性。每一个跟踪器通过分析超过660000个边界框输出结果进行广泛地评估。

本工作主要专注于单目标的在线^[1]跟踪。代码库、标注好的数据集和所有的跟踪结果在本网站上可以获得http://visualtracking.net。

1. 相关研究

在本节中，我们从几个主要的模块上来回顾近期的目标跟踪的最新算法：目标表示方案、搜索机制和模型更新。另外，一些基于跟踪器或者挖掘背景信息的组合已经被提出来了。

表示方案 目标表示是任何目标跟踪器的重要组成部分之一，并且已经提出了大量的解决方案[35]。自从Lucas和Kanade的开创性研究[37, 8]以来，全局模板（原始灰度值）已经被广泛运用于目标跟踪[25, 39, 2]。随后，基于子空间的跟踪方法[11, 47]被提出来更好地解释外观变换。此外，梅和凌[40]提出了基于稀疏表示的跟踪方法来处理损坏的目标外观，而且这项研究最近得到了进一步的完善[41, 57, 64, 10, 55, 42]。除了模板，许多其他视觉特征也已经被用于跟踪算法之中，例如颜色直方图[16]，方向梯度直方图（HOG）[17, 52]、协方差区域描述子[53, 46, 56]和Haar-like特征[54, 22]。最近，在跟踪[15, 4]广泛运用了判别模型，其通过在线学习的二分类器将目标与背景相区分。许多学习方法已经适用于跟踪问题，比如SVM[3]，结构化输出SVM[26]，排序式SVM[7]，boosting算法[4, 22]，semiboosting[23]和多例boosting[5]。为了使跟踪器对姿态变化和部分遮挡更加鲁棒，可以用描述符或直方图来描述每个对象。[1]中使用了几个直方图在预定义网格结构中描述目标。Kwon和Lee[32]提出了一种自动更新局部块的拓扑结构来处理大的姿态变化的方法。为了更好地处理外观变化，最近提出了一些有关整合多种表示方案的方法 [62, 51, 33]。

搜索机制 为了评估目标对象的状态，使用了确定性和随机性方法。由于跟踪问题是在最优化框架下提出来的，假设目标函数对运动参数是可微的，可以使用梯度下降方法有效地定位目标位置[37, 16, 20, 49]。然而，这些目标函数通常是非线性的，并且包含了大量局部极小值。为了缓解该问题，我们将采用密集抽样方法 [22, 5, 26]，它的代价是高计算负荷。另一方面，随机性搜索算法如粒子滤波[28, 44]已经被广泛地使用，因为它们对局部最小值和计算效率相对不敏感[47, 40, 30]。

模型更新 更新目标表示或目标模型以反映外观变化是至关重要的。Matthews等人[39]提出了Lucas-Kanade算法[37]中的模板更新问题，其模板通过联合从第一帧中抽取的固定参考模板和最近一帧的结果的组合来更新。有效的更新算法是基于在线混合模型[29]、在线boosting[22]和增量子空间更新[47]提出来的。对于区分性模型，主要问题是改进样本采集部分，让在线训练得到的分类器更加鲁棒[23, 5, 31, 26]。即便已经取得了许多进步，但寻找避免跟踪漂移的一种自适应的表观模型仍是十分困难的。

跟踪器的语境与融合 上下文信息对于跟踪也是相当重要的。最近，一些跟踪算法利用辅助对象或目标周围的局部视觉信息来进行辅助跟踪[59, 24, 18]。当目标被完全遮挡或者离开图像区域时[24]，上下文信息尤其有用。为了提高跟踪性能，最近提出了一些跟踪器融合的方法。Santner等人[48]提出联合静态、中度自适应和高度自适应跟踪器的方法来反映外观变化。即使种跟踪器[34]或多重特征[61]在贝叶斯框架中被维护和选择来更好地反映外观的变化。

1. 被评估的算法和数据集

为了公平的评估，我们测试的跟踪算法都是公开可用的源码或二进制代码，因为所有测试都不可避免地涉及到技术细节和特殊的参数设置^[2]。表1列出了被评估目标跟踪算法的列表。我们还在VIVID测试平台[14]评估了这些跟踪器，包括均值迁移(MS-V)，模板匹配(TM-V)，比值迁移(RS-V)和峰值差(PD-V)方法。