英语原文共 6 页，剩余内容已隐藏，支付完成后下载完整资料

严重遮挡鲁棒视觉跟踪的层次模板匹配

摘要

为了解决视觉跟踪中严重遮挡问题，我们提出了一个分层的模板匹配方法为基础一种分层的外观模型。该模型集成了整体和局部区域匹配，以找到一个对象，以粗到细的方式。此外，为了减少目标定位模糊，只有一个物体的外观模板判别零件选择相似度计算与尊重他们的cornerness测量。在一个层明智的方式计算零件之间的相似性，并从这一点，闭塞可以评估。当物体部分遮挡的情况下，它可以通过候选区域的外观模板匹配定位。当它是完全封闭的，它的位置可以使用一个卡尔曼滤波器从历史运动信息预测。建议的跟踪器几个实际的图像序列进行测试，实验结果表明，它可以一直提供准确的目标位置，稳定的跟踪，即使是严重的闭塞。

关键词：分层模板匹配；分层模板匹配；外观模型；遮挡分析

01介绍

目标跟踪，也叫视觉跟踪，包括自动定位运动的物体在连续的帧的图像序列。

基于它们的跟踪对象外观是重要的领域，如视觉监控，人机交互，机器人导航和导弹制导。外观提供了很多关于对象的更全面的视觉信息基于外观的目标跟踪方法在最近几十年更大的关注[ 1 ]。

然而，在现实世界中的视觉跟踪应用，闭塞是不可避免的，通常发生在一个移动对象部分或完全被对象所阻止作为静态背景或其他前景运动对象。当物体部分或完全遮挡时，其视觉外观偏离其外观模板。对象定位可能是非常不准确的，如果由于不恰当的模型，出现了严重损坏的模板更新，最终目标跟踪丢失[ 2 ]。

许多研究已经下降对沉重的影响视觉跟踪遮挡。自适应间接建模算法闭塞通过统计分析[ 3 ]- [ 5 ]。然而，这模型易受长期闭塞盲目更新。在[ 6 ] -[ 9 ]中，该对象被分为几个组件或补丁，和闭塞通过补丁匹配和强大的统计数据。使用摄像头是一种很好的方式来处理遮挡，但相机不能应用于许多视觉跟踪任务，因为他们需要一个特殊的设置，并以额外的成本[ 10 ]。在[ 11 ]中，提出了几种算法来克服约束条件。在[ 12 ]，闭塞在多目标跟踪的上下文中的对象是讨论了。在[ 13 ]，闭塞相关的特定对象，如人体，在上下文中预先定义的模型讨论了约束。在[ 14 ]中，与一个具体场景使用深度或运动信息都是讨论了。管理闭塞和其他一些尝试基于时空的例外语境[ 14 ]-[ 16 ]，它们需要很多不平凡的外部其他对象或功能的观察和跟踪目标对象。机器学习方法如稀疏学习[ 17 ]，分层特性学习[ 18 ]，半监督学习[ 19 ] [ 20 ]，这些可以克服部分遮挡到不同程度。在最近几年中，已经有几个方法来处理明确地与对象闭塞。混合物分布可以用于模拟每个像素的观测到的强度异常的特点是失去的组成部分，它有一个均匀分布[ 21 ]。一些方法声明离群值像素通过检查测量误差是否超过一个预定义的阈值，并且它们的工作非常好，只有当闭塞的统计特性同意的。这项工作是由中国航空科学基金会资助的根据补助金20115169016。

假设[ 22 ]- [ 24 ]。一种通用的检测算法在[ 25 ]中提出并处理闭塞。该算法通过观察几种类型的可能性，学习一个分类闭塞模式的基础上收集的数据在不遮挡物体的跟踪。这是一个改进现有的几种跟踪算法，但由于错误，错误率不够低。遮挡创建基于外观的四个基本问题跟踪方法[ 24 ]。首先是如何有力地确定闭塞的部分；二是如何准确地当闭塞的情况是未知的；第三个是如何正确更新的外观模型中为了保持跟踪的对象，同时防止损坏第四是如何可靠地检测经过的对象和它重新夺回完全闭塞一段时间。为了解决这些问题和处理对象外观的变化由于闭塞造成的，我们提出了一个分层用于跟踪的模板匹配方法。这种方法整合整体和部分地区的匹配，以在一个搜索窗口中查找对象，以粗到细的方式。

第2节描述的分层表示的对象的外观。第3节包含一个简要回顾拟议的跟踪器的整体结构，并详细介绍了分层模板匹配算法。该算法提供了准确定位的对象，即使有严重的闭塞。第4节包含实验结果分析。第5节总结论文。

对象外观的2层次表示

要跟踪一个对象，我们首先需要找到它。这可以在预测的区域中所做的远远小于整个领域观。这一预测区域通常是基于历史的对象的运动信息和外观模型的对象，这是自适应更新。对跟踪算法的成功很大程度上取决于外观模型和定位方法。一些有趣的想法从对象分类可用于目标定位。最近几个方案的对象分类，用于分类的基本特征是图像的局部片段，orpatches，描绘对象的组件和数据库进行显著从训练图像在学习阶段。这个特点可以从一个大的候选人池选择图像片段或一组应用的区域兴趣算子。在分类阶段，特点是在图像中，然后结合使用分类方法如Naiuml;贝叶斯组合；一概率模型相结合的外观，形状和规模；弱分类器集成；基于支持向量机的分类器。这些方法的特点是不分层的，他们不是分解成简单的、明显的部分，但检测到一个由一个比较的片段的图像。零件之间的相似性可以计算使用措施，如归一化互相关，仿射不变测度，筛选/冲浪。一些视觉跟踪算法使用基于零件的匹配技术来定位目标对象从图像[ 6 ]- [ 9 ] 。许多分类方案也是用特征角而不是分类特征。这样的方案通常基于生物建模和结构的灵长类视觉系统。这样一个系统使用一个层次结构增加复杂性的特点，从简单的局部特征在初级视觉皮层对复杂形状和物体高级皮质区的视图。在一些生物模型，层次结构的体系结构（大小，位置，形状特点和子功能）是预定义的或学习的不同分类任务。对象的最新进展使用特征层次的分类一些基准数据集上的有前途的结果[ 27 ] -[ 29 ] 。

使用信息的对象外观组件是有用的处理变化的外观在跟踪。然而，这些组件，像对象自己，可以在外观上有很大的不同。因此，分解成多个组件是很自然的信息的组成部分。一个重复的过程导致的结果一个具有信息量的对象的层次表示在多个层组成。这种层次分解可以大大提高对象的本地化。通过对对象进行分类处理，对对象进行正确分类训练数据集[ 27 ] -[ 29 ]。然而，我们只适用于规则不同大小的网格分解成的对象用于平衡计算和鉴别能力。最后，分层的外观模型建立。除法过程如图1所示。这个在三层中的规则网格为1*1，2*2，4* 4。

我们要使用这个层次的表示准确地定位对象在预测区域，而不是在整体视野。因此，定位能力每一部分都是重要的，可以通过cornerness检查在[ 26 ]中提出的措施，首次应用于检测角的特点，从图像，后来选择目标跟踪的信息修补程序。大的那部分是cornerness措施仅作为跟踪对象的信息功能。如果我们考虑的是我的一部分层，我们可以计算它的二阶矩矩阵米使用在WX，Y是重量，九水平梯度，和这是垂直梯度。如果M的特征值是1和2的lambda;lambda;▲图1。物体形成的层状外观模型应用规则网格分解成部件

M = Sigma;Wx，y (1)x,yIx2 IxIyIxIy Iy

2Layer 1 Layer 2 Layer 3

1 x 1 2 x 2 3 x 3R = lambda;1lambda; 2 - alpha; (lambda;1 lambda; 2)2 (2)

角响应函数可用于验证它是否是见闻：其中一个值为0.04至0.06的常数3对象定位分层模板匹配

3.1总体结构

指定的初始目标对象是手动或自动选择一个目标区域，通常覆盖矩形区域。目标区域被称为该区域感兴趣的（感兴趣区域）和紧紧界的被跟踪的对象。一些背景像素还可以被包括在感兴趣区域中在初始化过程中，但这并不重要。我们还初始化一个验证掩码，表示所有信息部分的位置。这个面具是一个二进制矩阵具有一个值（其中的像素属于信息量零件）或零，否则，使用该方法在第2节。外观模板反映当前估计对象的外观和被初始化从初始投资回报率通过坐标采样像素转型。最初的遮挡掩模只是一个重复的验证掩码，这表明没有像素的模板被屏蔽掉，除了非信息性的部分。在2种操作模式下跟踪对象：正常和完成。在正常模式下，目标位置和投资回报率是首先使用自适应速度模型预测每一个新的帧。然后，近似目标区域是通过分层模板匹配。我们的第一个分析各部分匹配的区域内的闭塞在模板和更新遮挡掩模。然后，我们基于结果的模板匹配进行模板匹配咬合分析。这个修正的目标位置对象。通过模板匹配来输出结果确定最终的投资回报率，并在这个投资回报率，闭塞再次分析产生最终的遮挡掩模。后获得精确的目标位置和最终的遮挡面具，我们更新的蒙面模板的时间平滑。当超过80%的目标对象闭塞，我们建议的跟踪进入完全闭塞模式，目标对象的位置被预测Kalman滤波。目标对象的再现可靠用模板匹配法检测。一旦结束一个完整的遮挡声明，遮挡掩模是重新初始化，并跟踪恢复正常模式。

3.2评价闭塞情况

一个分层的外观模型的部分介绍2为代表的对象，其中，顶层是全对象，二层有四个非重叠部分产量除以一半的对象在顶部沿和维相等，第三层有十六非交叠分件产量减半二层以同样的方式，每一部分都有四相应的子部分，因此对象可以描述精细越来越多。每一个对应的部分之间的相似性候选对象和目标对象可以用归一化互相关（NCC）得分。NCC是当足够大，候选对象和目标的部分对象是相同的。当NCC小足够的候选对象和目标对象的部分都是不同的。在寻找对象时候选人的位置，在顶层的NCC首先计算。如果它是足够高，该对象被接受，如果它太低，对象被拒绝；否则，NCC的部分在下一层中，直到一个推理可以被计算自信地做出或最低层达到。在这些操作时，当没有发生遮挡时，该对象可以通过计算在顶层的NCC位于。什么时候闭塞的发生，大多数小NCC区域将被拒绝在顶部层，只有潜在的区域与中端NCC的分析。闭塞可以评估的覆盖数具有高的NCC部分。因为不同的报道零件的区域在不同的层，覆盖数的零件（CNP）是W L是L层的重量，和NCC IL是NCC对象第一层L. 指示功能是我。预定义的阈值theta;。如果肿瘤小于90%，部闭塞是广受好评的，如果它是非常低的，例如较小超过20%，完全闭塞接受。因此，一个新的遮挡掩模在被遮挡的地方产生设置为零，其他设置为一。

3.3定位对象

对于每个图像帧，估计模板映射到通过坐标变换phi;框架（x，alpha;）。的类变换是由它的参数向量的。在这论文中，只有翻译被认为是所有其他类型的对象运动被视为物体外观的变化。这个在帧中的对象的最终位置被确定执行掩码模板匹配其中的一是估计的变换参数向量，在框架中，不是外观模板，我代表我在层中的一部分，并且是一个二进制值的遮挡掩模遮挡遮挡模板部件。| O |计算不遮挡模板零件的数量。在实现中，通过快速搜索alpha;首先计（在一个小区域内使用分层模板匹配）卡尔曼滤波预测。在这一点上，我们没有一个可靠的遮挡掩模。如果对象不完全闭塞，最终的位置是精用（4）在一个小用更新的掩模掩模区域。否则，最后的位置是一个预测使用卡尔曼滤波器。保持跟踪，即使当一个对象的外观变化，我们需要自适应更新的外观

CNP =Sigma;w l times;I (NCC il＞theta; ) (3)t,talpha; = arg min Sigma;NCCil (In (ϕ (x :alpha; )),T (x ) times;Oil (4) 1Ol, i模板。因为盲目更新会导致模板漂移，只有非闭塞的部分，应考虑。因此，如果对象没有完全遮挡，则掩盖模板更新的应用时间平滑处理在*的最佳匹配区域在帧n；eta;衰减系数；我是一个恒等矩阵。

4实验结果

为了验证性能，该算法进行了测试从视频拍摄的车辆的红外图像序列身份（生动）数据集验证，光学图像飞机的序列，和红外图像序列在现实世界中的场景被我们捕获。车辆序列具有很强的遮挡；飞机序列部分或完全闭塞的背景杂波；和面序列已严重阻塞的手或书。在无花果。3和2，连续的图像（一）是原始的强度的图像，和白盒包含的位置和目标对象的大小。行（乙）的图像显示应用分层模板匹配得到的结果。在每个的左上角的小强度图像行（乙）的列是从白色方块区域中取的连续图像（一）。事实上，它是最佳匹配图像的模板或图像从预测目标区域。小强度图像行（乙）的每一列的底部左边是对象的外观模板。三个彩色盒子在每一列的顶部显示模板的结果在层的匹配一到三，从左到右分别。酒吧下面显示相应的NCC值模板匹配，并从这些我们可以评估闭塞。评估的置信度使用不同的颜色：绿色意味着高层次；琥珀的意思中级；红色意味着低水平；黑色意味着非信息性部分。图2显示了跟踪的结果严重遮挡的光学图像序列中的飞机。该帧98，118，127，139和152显示的跟踪工作很好，即使当对象完全闭塞。在框架98和152，在第一层的NCC是非常高的匹配时的对象是不闭塞。在帧118和139、NCC在第一层匹配但高中低二或第三层匹配时，对象是部分闭塞。在127帧，NCC是非常低的，即使在最低第三层匹配时，对象完全闭塞。图3显示了红外线跟踪车辆的结果T =（eta;times;* （1 -eta;）times;T）times;O Ttimes;（I O）（5）

▲图2。在光学图像序列中跟踪飞机严重阻塞。

▲图3。在红外图像序列中跟踪车辆严重阻塞。

图4显示部分CNP的覆盖数在跟踪过程中得到的分层模板匹配对象。水平轴没有显示出帧的索引垂直轴显示零件的覆盖数CNPCNP。图4（一）是飞机跟踪的结果。4（乙）是车辆跟踪的结果。我们可以很容易地确定什么时候部分或完全闭塞的对象，例如，在图90从帧4到150（1），该对象被遮挡，并在图4（2），从帧50到250，该对象被严重遮挡。虽然有一些错误，我们仍然可以采取适当的操作以更新外观模板并预测使用历史信息的对象的位置的对象时对象被遮挡。这让稳定，高品质跟踪。我们开发了一个主动的视觉跟踪系统跟踪单动目标，并提出跟踪算法被编码在一个嵌入式平台，以便找到TMS320DM642数字对象的核心处理装置－－信号处理器（DSP）芯片是TI公司。图5显示红外图像序列中人脸跟踪的结果严重阻塞。该序列被捕获的热红外摄像机安装在一个框架遵循单一的对象。跟踪的对象的中心位置的偏移量我们的跟踪算法的图像产量被馈送到控制器驱动框架效仿的对象每40毫秒。因此，它可以满足一些日常生活需要的实时目标跟踪任务。在图5中，红色方框显示跟踪对象的位置。图5（甲）和（乙）显示的位置当物体变化的大小。图5（丙）和（三维）显示的位置的履带式面与遮挡。

5结论

为了解决严重的遮挡，一个分层模板提出了目标跟踪的匹配方法。的方法整合整体和部分地区的匹配，以

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[150434]，资料为PDF文档或Word文档，PDF文档可免费转换为Word