英语原文共 15 页，剩余内容已隐藏，支付完成后下载完整资料

摘要：长期视频跟踪是非常重要的，在现实世界中的许多应用场景。实现长期跟踪的一个关键组成部分是跟踪的能力，更新其内部代表性的目标（外观模型）不断变化的条件。鉴于这一研究领域的快速，但分散的发展，我们提出了一个统一的概念框架外观模型的适应，使一个原则的比较不同的方法。此外，我们引入了一种新的评估方法，使同步分析的跟踪精度和跟踪成功，而不需要设置应用程序相关的阈值。建议的框架和这种新的评价方法的基础上，我们进行了广泛的实验比较跟踪执行外观模型适应。理论和实验分析使我们能够找出最有效的方法，以及突出设计的选择，有利于韧性在更新过程中的错误。我们的结论与列表的关键开放的研究挑战，已单挑我们的实验比较。

指数条款-自适应外观模型，跟踪评价方法，视频跟踪。

1，简介

在视频流中跟踪以前看不见的目标是许多基于图像的任务自动化的重要组成部分，如行为分析，图像序列注释，自然人机界面和自主导航。长–术语在真实条件下的跟踪是困难的几个因素，包括光照、姿态变化、遮挡、变形目标，干扰和杂波。视频跟踪器依赖于一个内部表示的目标外观，外观模型，这是从传入帧的测量在候选目标位置提取估计最有可能的目标位置。要创建的外观模型和测量，跟踪项目的图像区域在候选目标位置到低维特征空间，突出相关信息的跟踪任务[ 1 ]。早期跟踪保持外观模型固定在一个序列[ 2 ] [ 7 ]，而专注于强大的定位和匹配策略。最近，已经提出了几种方法来跟踪目标，同时不断发展的外观模型，以适应不断变化的成像条件[ 8 ] - [ 16 ]。外观模型适应介绍了一些挑战，如需要同时实现的矛盾目标的快速学习和稳定的内存。这被称为稳定/可塑性两难[ 17 ]。自适应跟踪也招致的风险，包括错误的测量，同时更新目标模型，从而导致漂移的目标。为了避免漂移，自适应模型必须通过背景或其他物体的外观，可以部分阻断靶产生异常强大的。最后，自适应跟踪器必须能够评估上线（无地面真相）的估计目标位置的质量，以便相应地调整其对模型更新的贡献。这些挑战，连同不同的解决方案，以解决这些问题，使评估和选择的自适应跟踪器的一项艰巨的任务。

在本文中，我们提出了一个统一的概念框架，确定了常见的积木进行跟踪的自适应外观造型（图1）。该框架是一般性的，可以容纳在其模型也视频跟踪器的设计工作，有一个固定的外观模型，我们也提出了一个新的定量的性能评价方法，独立于阈值，它同时考虑跟踪估计精度和跟踪保持长–长期成功运作的能力。根据建议的框架和建议的评估方法的基础上，我们进行全面检讨现有的方法，并进行了深入的实验比较，使用公开的测试序列。我们批判性地讨论不同的算法在各种现实世界的情况下的性能，并突出自己的长处和短处。最后，基于这种分析，我们列出了主要的开放式研究的挑战，在自适应目标建模的视频跟踪。本文的结构安排如下：第二部分介绍了概念和定义，将整个文件；在第三节中，我们提出的目标模型更新的总体框架；在第四节中，我们提出并讨论所提出的评价方法；其次，第五部分描述了选定的跟踪和测试序列和第六部分提出实验比较。最后，第七节总结了主要贡献和突出的开放研究的挑战。

2，符号和定义

让IK = { IM K M = 1是一个图像序列。视频跟踪估计序列的隐藏变量XK = { XMisin;Xsub;RD } K M = 1，其中x是状态空间和XM估计目标状态时，Xk先生是目标到时间K的目标状态包括位置和轨迹，任选其他几何学和运动学特征如规模、长宽比，对图像坐标和速度方向。目标状态可以表示为：

xk = [ x y ] ,

用xisin;（0。Wminus;1，hellip;，yisin;}，{ 0。hellip;hellip;hellip;hellip;hellip;hellip;hellip;1，hminus;），W和H denoting图像的宽度和高度，分别。这是选择的结果，在一个fixed–scale，fixed–aspect–ratio和fixed–定位跟踪器[ 11 ]，[ 13 ]，[ 16 ]，[ 18 ]——[ 20 ]。其他isotropic allow跟踪器对尺度变化[ 4 ]，[ 5 ]，[ 21 ]：

xk = [ x y sigma; ] ,

在sigma;isin;R 0的初始和当前目标的宽度和高度之间的比率。一个–BHMC [ 22 ]占非–固定纵横比：

xk = x y sigma;x sigma;y ,

与sigma;X、Ysigma;isin;R 0代表初始和当前的宽度和高度的比例关系，分别。IVT技术[ 23 ]和[ 24 ]，相反，包括定位theta;状态组件

xk = [ x y sigma; theta; ] ,

与sigma;isin;R 0，theta;isin;[ 0。..2pi;]。最后，closedloopmatting [ 25 ]结合目标自动抠图跟踪，从而延长了状态估计的概念来精确估计每帧中的目标轮廓的能

追踪者考虑的几个州的候选人Xcirc;K我为了估计当前状态xk。候选人是根据各种采样策略，通常在附近的前一个国家，以执行时间平滑[ 1 ]，[ 26 ]。XK的估计是基于每个候选人分配一个分数因子。分数的例子是粒子过滤器的重量[ 5 ]，在特征空间中的相似性，在均值漂移跟踪器[ 4 ]或在跟踪的分类器的信心-检测方法[ 11 ]。我们把对Xcirc;KI，Cki信心地图对照。让AK表示的整体外观模型的例子，在时间K和AK 1部分的模型估计从帧IK。为了估计XK和CK，跟踪与测量比较AK IK。非自适应跟踪学习（或获得）AK一次离线或上线使用序列的第一帧（s），然后保持整个序列的模型不变。自适应跟踪更新模型AK随着时间的推移，估计AK 1从XK和CK，然后将它与Ak屈服AK 1。根据所采用的外观模型的类型，跟踪器可以分为三类，即生成，歧视和混合跟踪。生成跟踪器驱动本地化程序使用的最大似然或最大-一个-后制定仅依赖于目标外观模型[ 8 ]，[ 9 ]，[ 21 ]，[ 23 ] [ 25 ]，[ 27 ]，[ 28 ]。生成外观模型表示对象的外观，而不考虑其鉴别力的背景或其他目标的外观。歧视性的跟踪器定位的目标，使用一个分类器，学习的目标和背景或其他目标的外观之间的决定边界[ 10 ] [ 16 ]，[ 18 ]，[ 29 ]，[ 30 ]。最后，混合跟踪使用前两种方法的组合。例子包括歧视和生成的观测模型，根据目标距离在多目标情况–[ 31 ]之间切换；采用有限–训练[ 32 ]之间的长期–术语生成观测模型和一个短的–项判别一个[ 33 ]；使用多个生成模型，但对学习每帧中的权重结合起来为了最大限度地提高距离的背景外观[ 34 ]；储存和更新两–生成非参数模型的目标和背景的外观和使用他们在每帧[ 20 ]训练判别跟踪器；或使用生成的跟踪引导判别跟踪器[ 15 ]。自适应跟踪将在下一节中详细讨论。

3 自适应统一框架 目标建模

在本节中，我们识别和比较常见的步骤（图1）进行自适应跟踪，以进行外观模型更新。

A.概述

鉴于XK和对照，一组样本{植}的新目标的出现，是从当前帧中提取。歧视性的跟踪提取一组样品也从背景。这些样品是硬标签（Lisin;{minus;1，1 }）或软质（Lisin;[minus;1，1 ]）为目标或背景，从而产生了标记的样本集{植}，我。其次，样本投影到特征空间F，生成一组标记特征{ FKI，L }。特征就可以被过滤和/或选择以提供一个更具代表性的特征集合{ Ftilde;KI，我tilde;}，我tilde;minus;isin;[ 1，1 ]。在过滤的情况下，特征集可以被修剪，以消除离群或增强与可靠的功能。在此阶段，标签可以切换或修改。在选择的情况下，跟踪当前帧中的目标的最有效的功能是确定的可用功能集。鉴于成品标记功能，外观模型AK的目标 1在当前帧的第一个估计然后合并以前的模型AK，达到模型AK 1用于下一帧的状态估计。表我总结了自适应跟踪建议的框架内。

B采样和标签

鉴于XK和CK，和标签的步骤选择区域从当前帧被用于更新外观模型和采样，在一个歧视性的跟踪，把他们归类为属于目标或背景。区分标记和跟踪的分类我们将前者作为贴标机。目前的状态采样只使用区域定义的XK更新外观模型[ 8 ]、[ 9 ]、[ 21 ]、[ 23 ]。歧视跟踪使用来自周围XK [ 10 ]背景样品，[ 11 ]、[ 13 ]、[ 16 ]、[ 25 ]。这种方法假设跟踪器输出是正确的，不仅可以减轻后续阶段的错误估计XK的影响。例如，击[ 16 ]夫妇这种简单的策略与精心制作的模型更新阶段，这是基于使用结构化输出支持向量机（SVM），以减轻错误标签的影响[ 42 ]。目前–状态–中心从附近的XK [ 14 ]定义的区域提取样品的取样。样品接近XK分袋样品（从每袋至少一个样品为目标样本），而从外部采样区域样本作为背景样本。假设国家最多只是稍微偏离目标，后续阶段对目标样品中留下的不确定性，例如通过使用多个实例学习[ 14 ]。合作训练采样结合两个子跟踪部署独立的功能[ 12 ]。每个子跟踪器的目的是区分的情况下，是模糊的其他子跟踪器，隐含地假设，在一个给定的帧中，这两个功能之一可以正确地跟踪目标。状态xk是由两个子跟踪器输出的组合，而对于每个跟踪器外观模型更新标签是独立进行在有限–培训框架[ 32 ]的抽样。每个子跟踪器提供训练样本给其他。目标样本来自全局最大值的置信度图，而背景样本取自局部极大值。当一个外部的贴标使用，样品在XK和其附近的区域中定义但不标记根据其位置相对于XK。样品的软–标记为目标或背景根据贴标机[ 18 ]的信心，[ 20 ]，[ 29 ]。一个贴标机引导模型更新的使用旨在突破自我–学习回路，当跟踪器输出用于依次更新外观模型，，，是用来产生下一个跟踪器输出。商标可以是固定的，自适应或两者的组合。一个固定的贴标机，如物体检测器或相似函数与一个固定的举足轻重的外观模型，训练了–线或在第一帧（S）和不再更新[ 18 ]，因此限制了跟踪器的适应性程度。没有假设的正确性的当前状态，除了接近目标。一种自适应的贴标机是一个相似的功能，相对于以前的模型[ 20 ]，[ 30 ]或目标探测器在线学习使用跟踪输出[ 15 ]。这种方法不承担当前状态的可靠性，但要求没有突然发生变化的目标或背景外观的演变。这个假设是宽松的循环策略[ 15 ]：外观允许突然变化，如果它变得类似于以前的外观在有限数量的帧，所有这两个事件之间的外观被认为是作为目标外观的阳性样品。在这种方法中的适应性程度（连续帧的外观之间的最大变化和循环策略中的帧的数目）是由硬阈值决定。因为它使用以前的模型或一个探测器训练与以前的目标外观标记当前样品，这种方法很容易漂移由于自我学习，虽然循环依赖于模型，而不是状态。最后，结合固定和自适应的贴标机可以用[ 29 ]，[ 36 ]。固定贴标机是训练的第一帧，从不更新，而自适应贴标机是用于标记样本进行模型更新。这种方法的目的是降低风险的漂流由于自学习控制当贴标机的更新。贴标机是更新时，跟踪和固定的标签是一致的[ 29 ]或当自适应贴标机是其中的一个协议[ 36 ]。然而，这种方法已经在尊重那些部署固定贴标机适应性程度相当的局限性，正如我们将看到在实验评价。

C特征提取与细化

提取每个样本的滑雪的特点，L IK产生一组标记的特征向量{ FKI，L }。这些功能可以被归类为部分明智的或目标-明智的总结表二。部分明智的功能是从小补丁，甚至个别像素提取。部分明智的功能，使人们有理由明确闭塞，并有可能，以避免使用闭塞对象的功能，以更新外观模型。它们也有助于处理固有的建模目标矩形物体的近似，允许目标包围盒内的功能进行分类，无论是前景或背景。流行的部分-明智的功能是Haar小波，主要是由于其不变性仿射亮度的变化和他们的计算成本低，因为它们可以有效地计算在恒定的时间相对于小波大小的积分图像[ 43 ]。另一种流行的表示使用RGB值和粗直方图的定向梯度（猪）的小图像补丁[ 11 ]。这个选择交易性的鲁棒性，因为一个小补丁，使得它更容易处理部分遮挡、目标变形。与此相反，目标明智的功能代表了整个目标的外观，如通过一个目标模板[ 9 ]，[ 23 ]或颜色[ 4 ]，[ 34 ]和梯度直方图[ 21 ]，或它们的组合[，] [ 33 ]。直方图容忍目标旋转和缩放没有明确的外观模型适应，而模板需要加上外观模型更新算法[ 23 ]。给出了特征提取和L } { FKI，标记从当前帧的特征集，细化步骤，以标签获得修改集合{ Ftilde;KI的特点，我tilde;}，外观模型的更新更有效。可以遵循两个主要的策略，它可以交替或顺序部署：特征处理和特征选择。在特征处理中，跟踪器可以执行样本检查或使用枢轴。样本检查的基础上的假设，它是可以定义一个先验的样本，是不适合进行模型更新给定的当前外观模型。自适应跟踪器可以去除冗余样本，当特征向量也类似于目前的模型[ 20 ]，野值滤波，当特征向量从当前模型[ 20 ]或标签交换也不同，当对一个目标的信心–标记的特征向量太低和标签切换到背景[ 11 ]。最初的外观可以作为一个支点，假设在第一帧的边界框是正确的，目标和背景的外观仍然类似于最初的。功能从枢轴细化当前样本集时，他们被添加到[ 21 ]或混合与当前功能集[ 10 ]，[ 34 ]。从枢轴的功能可以用来细化功能集还通过跟踪它们在当前帧，从当前状态[ 9 ]。上线功能选择进行时，使用一组固定的功能，其组成是更新在每个帧中，根据其有效性在以前的帧（S），假设的位置估计由跟踪器在以前的帧（s）是正确的。这可以通过评估的对数似然比的颜色值[ 10 ]，[ 25 ]或可以通过施加在线升压[ 44 ]弱分类器作为特征选择器。后一种特征选择是一个家庭的关键组成部分的歧视性跟踪算法[ 13 ]，[ 14 ]，[ 18 ]，[ 29 ]，进行模型更新，通过选择功能，根据他们的辨别能力，区分目标从背景。除了自我学习的固有风险，在执行在线选择的主要困难之一是由于不同的得分动态和范围的各种线索，使得很难比较他们的分数[ 45 ]。事实上，所有引用的作

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[137543]，资料为PDF文档或Word文档，PDF文档可免费转换为Word