英语原文共 20 页，剩余内容已隐藏，支付完成后下载完整资料

局部图像的独特尺度不变特征点

DAVID G. LOWE

加拿大温哥华英属哥伦比亚大学计算机科学系

Lowe@cs.ubc.ca

在2003年1月10日接收到此文件，2004年1月7日被修订，，2004年1月22日出版。

概要：这篇文章提出了一种从图像中提取独特不变特征的方法，用于执行同一物体或者场景不同视角之间的可靠匹配问题。在对图像进行尺度缩放，角度旋转，或者在一个相当大范围内的仿射失真，三维视点变化，噪声加入，不同光照处理等条件下，该特征都是不变的。这些特征是高度独特的，在某种意义上来说，一幅单一图像的匹配正确性可以与大型数据库里许多图像的匹配正确率相比拟。本文还介绍了一种来使用这些特征来进行物体识别的一种方法。这种识别通过从已知对象个人特征到特征数据库相匹配一种快速邻近算法，其次是属于一个单一对象的Hough变换去识别集群，最后通过最小二乘解一致的姿态参数进行验证。这种方法在实现接近实时性能的同时能够强劲识别杂波和闭塞。

关键字：不变特征，物体识别，尺度不变性，图像匹配

1. 简介

图像匹配是计算机视觉中的许多问题的一个基本方面，包括对象或场景识别，解决从多个复杂图像的三维立体结构的对应和运动跟踪。本文介绍了有许多特性的图像特征，这使它们适合用于匹配不同图像的物体或场景。这些特点在图像缩放旋转和部分不变的照明以及三维相机的角度变化条件下是不变的。他们在空间和频率域能够被很准确地定位，降低了因闭塞杂波干扰或噪声而中断的可能性。从具有高效算法的典型图像中可以提取出大量的特征，另外，这些特征是非常独特的，它允许单一图像的匹配正确性可以与大型数据库里许多图像的匹配正确率相比拟，提供了一个基础的对象和场景识别。

通过采取级联滤波方法，其中更昂贵的操作仅适用于通过一个初始测试的位置来实现提取这些特征的成本最小化。下面是用于生成图像特征点集的主要阶段：

1. 尺度空间极值检测：计算的第一步是搜索所有尺度和图像的位置，它是通过不同高斯函数去识别对尺度和方向具有不变性的兴趣点来有效执行的。
2. 关键点的定位：在每一个候选位置，总会有一个详细的模型可以去确定合适位置和尺度。关键点是基于他们稳定措施被选择出来的。
3. 定向分配：基于局部图像梯度方向的每个关键点拥有一个或多个方向。之后所有的操作都是对每个特点而言，已转换与指定的方向、规模和位置相关的图像数据进行操作的，从而提供这些变换的不变性。
4. 关键点描述符：局部图像梯度是靠每一个关键点附近区域的指定尺度来衡量的。这些梯度被转换成允许局部形变和光照强度改变幅度明显的表示。

这种方法已被命名为尺度不变特征变换，因为它将图像数据转换成与局部特征相关的尺度不变坐标。

这种方法中重要的一个方面就是产生了密集覆盖在图像全范围尺度变化和位置的很多特征。例如一个典型的图像大小为500times;500像素将产生约2000个的稳定特征（虽然这个数字取决于图像内容和各种参数的选择）。特征的数量对对象识别是特别重要的，体现了在杂乱的背景中检测到小的对象的能力，对每个对象的可靠识别至少需要3个特征才能正确匹配。

对于图像匹配和识别，SIFT特征是首先从一组参考图像中提取，然后存储在数据库中的。通过基于它们特征向量的欧式距离分别对比从新图像到之前的数据库，找到待选匹配特征，然后进行匹配的。本文将讨论的快速最邻近算法，可以执行大型数据库的快速计算。

关键点描述子是非常独特的，它允许在一个巨大的特征数据库里利用单一的特征，很大可能地找到正确的匹配。然而，在一个杂乱的图像，许多来自背景的特征在数据库并没有任何正确的匹配，从而增加了正确匹配外的许多错误的匹配。正确的匹配能够通过识别与新图像中的对象、位置、尺度以及方向保持一致的关键点的子集来从所有的匹配对里过滤出来。少数特征的概率因为比任何单个匹配特征概率低得多导致和以上所说的参数符合，这是产生了错误。这些集群的计算可以采用广义Hough变换的哈希表来快速实现。

每个集群拥有与对象和它的构成相符合的三个或者多个特征，然后需要去进一步进行详细验证。首先，一个最小平方估计是对一个对象构成的仿射近似产生的。任何其他与图像构成一致的特征被识别出来，而其他异常值被排除。最后，详细的计算是由一系列的表示一个对象存在概率并给出正确匹配准确度和错误匹配对数目的特征的概率构成的。所有通过这些测试的对象匹配可以认为为具有高度正确性的。

2.相关研究

通过一系列局部兴趣点来进行对象匹配的发展可以追溯到1981年Moravec使用角探测器的立体匹配的工作中去。莫拉维克探测器由Harris和Stephens 在1988年改进，使它在微小图像变化和边缘附近更具有可重复性。这些特征检测被称为角检测，并不是只选择角，并且选择在一个预定的规模里在各个方向都具有较大梯度的图像位置。

最初的应用是立体声波和短距离的运动追踪，但是后来被延伸到去解决更困难问题。张等人在1995年研究表明在可以一个大的图像范围内对各个角落周围采用相关窗口方法的去匹配Harris角去从而去选择可能的匹配对。通过对两幅刚性场景之间的几何约束的基本矩阵进行比较后，极端值被剔除，并且剔除掉与大多数不一致的匹配对。

Harris角点检测对图像的尺度变化非常敏感，所以它不能为于不同尺寸的图像匹配提供一个良好的基础。Lowe在1999年的早期工作中采用扩展的局部特征的方法取实现尺度不变性。这项工作还描述了一个可以提供更具有特色的并且对例如三维视点变化之类的局部图像失真不太敏感的新的局部描述符。本文提供了关于这项早期工作更深入的发展和分析，同时也提出了在稳定性和特征不变方面大量的改进。

本文提出的方法并不是完全仿射不变的，一种不同的方法被应用在只有很小的变化时允许相对特征位置移位明显的局部描述符中去。这种方法不仅允许描述符在相当大范围内的仿射失真时的匹配是可靠的，而且，并且也使得在非平面表面的三维视点变化的特征更具有鲁棒性。其他优点包括具有特征提取更有效和识别更大数量的特征的能力。另一方面，在非常大的视角变化下仿射不变性在平面视图匹配中是非常有价值的特性，因此在今后的研究中应该将这个特性与非平面的三维视角不变性用一个有效和稳定的方式结合起来，然后去很好的表示出来。

其他有用的特性包括颜色、运动、图形背景分辨、区域的形状描述和立体深度暗示。利用局部特征的方法可以很容易地将新的特征类型合并起来，因为额外的特征有助于增强正确匹配的鲁棒性，不然很小的破坏都会增加计算成本。因此，未来的系统很可能结合了许多功能类型。

3.尺度空间极值检测

如在引言中所述，我们将利用采用了高效算法去识别需要进一步检验待选位置的级联滤波器去检测关键点。关键点检测的第一阶段是确定可以在不同的视图中的相同对象可以被重复分配的位置和尺度。规模不变的图像变化的位置检测是为了完成在所有可能的尺度中寻找稳定的特征，同时使用连续的尺度函数即被称为尺度空间。Koenderink（1984）和Lindeberg（1994）提出根据唯一可能的尺度空间核心中各种合理假设就是高斯函数。因此，图像的尺度空间被定义为函数L（X，Y，sigma;），即是从可变规模高斯函数G（X，Y，sigma;）与输入图像I（X，Y）的卷积产生的：

其中lowast;代表x和y的卷积操作，并且

为了有效地检测出规模稳定的关键点的位置空间，Lowe在1999年在不用高斯函数与图像卷积使用了尺度空间极值D（X，Y，sigma;），可以用一个常数乘法因子k去计算邻近的但是各自独立的尺度差异：

选择这个函数是由很多理由的。首先，对于平滑图像来说，这种函数是计算特别有效的，L函数可以在任何情况下，对规模空间特征描述进行计算，因此D函数可以用来计算简单图像的减法。

另外高斯函数之间的差异特征提供了近似的尺度归一化高斯拉普拉斯因子，就像Lindeberg在1994年研究的一样。林德伯格表明拉普拉斯归一化用因子对于真实尺度不变性是必需的。在详细的实验比较中，Mikolajczyk在2002年发现相对于其他可能的图像特征如梯度、Hessian和Harris角点特征范围内来说，值的最大和最小值可以产生最稳定的图像特征。D函数和之间的关系能够从热扩散方程中理解（参数是而不是更常见的t=）：

,从这个公式我们可以看到可以通过使用在Ksigma;和sigma;附近的尺度差异的有限差分

来计算：

因此得到

这个公式表明，当高斯差异函数具有尺度差异时它需要通过一个常数去和尺度不变拉普拉斯尺度归一化系数sigma;2相融合。因子k-1在所有尺度的方程中是一个常数，不影响极值点的定位问题。近似误差将会去零为逐渐变为1，但是在实践中，我们发现即使这个近似在尺度上对极值点检测和定位的稳定性几乎没什么影响。

图3..1中给出了一种D(x,y,sigma;)的高效构成方法。在尺度空间里，初始图像与高斯函数重复产生卷积形成的由一个常数因子k来区分的图像集来显示在左栏。我们选择用每倍频的尺度空间（sigma;的2倍）去划分成一个整数s，所以间隔为。相邻的图像尺度减去产生高斯图像的差异函数在右栏。

图 3.1 每倍频程的尺度空间，初始图像与高斯函数重复产生卷积形成的空间图像集在左侧显示。高斯图像减去相邻的高斯图像得到的不同高斯图像集在右边。之后的每一层，高斯图像是由因子2向下采样并重复的过程。

3.1局部极值检测

为了检测局部极大值和极小值D（x，y，sigma;），每个样本点在当前图像中较和其相邻的上面和下面的九个邻近点的尺度关系如图3.2所示。只有当它大于或者小于它附近的所有点的值时才被选择出来。

这个检测的成本是足够低的，因为大多数采样点前几次检查中都会被淘汰掉的。

图3.2 高斯图像差分的最大与最小值通过比较一个像素（标记与times;）到它邻近的3times;3个区域的26个邻近点在当前的邻近尺度（标记与圆）来检测

一个非常重要的问题就是去确定要可靠检测极值点的图像和尺度域中的采样频率。不幸的是，事实证明，不存在最小采样间距能够检测所有的极值，并且极值可以任意靠近。假设在黑色背景下有一个白色的圆形，黑色背景下将有一个单一的尺度空间最大值，高斯差分函数正中心区域可以匹配圆形尺寸和位置。对于一个非常拉长的椭圆，将有2个极大值靠近椭圆的每个末端。作为位置极大值是一个连续函数的图像，为有中间延伸的椭圆从一个单一的最大转变为2个，与接近的最大值任意靠近过渡。

图3.3 第一个图表的顶部线显示关键点，重复检测到相同的位置和规模在百分之变换后的图像作为一种尺度采样每倍频程数函数。低的线显示，有百分之要点正确匹配一个大数据库的描述符。第二图显示了在一个典型的形象作为一种规模的样本数功能检测点总数。

3.2 尺度采样频率

每个图像当时的主要处理是一系列的转换，包括旋转、缩放、仿射拉伸、亮度变化与对比度以及图像噪声的增加。因为变化是合成的，原图像中的每一个特征出现在变换后的图像是可以预测的，对于每一个特征允许测量正确的重复性和定位精度。综合来说，这些实验表明高斯函数的尺度空间差数的极值，这将是非常可贵的。幸运的是，我们可以检测到最稳定和有用的子集。

图3.4 图中的顶行显示关键的百分比。较低的线显示正确的描述符与大型数据库相匹配的百分比。

3.3 空间域的采样频率

采样每倍频程的频率的尺度空间，所以我们必须确定的频率图像域中的采样与尺度平滑。图4显示事先确定的平滑量sigma;，这是适用在构建一个倍频程的尺度空间表示之前的一个图像级。顶线是关键点检测的重复性，结果表明，随着sigma;增加重复性仍在继续。然而，在采用大sigma;值时在效率方面存在花费，所以我们选择使用sigma;= 1.6，它提供了接近的最重复性。此值是在本文中使用并用于图3.3的结果。当然，如果检测极值点之前对图像进行预平滑处理，我们能够有效抛弃最高空间频率。因此，充分利用输入，图像可以扩展到创建更多采样点比原图像。

4.精确关键点定位

一旦一个待选关键点被通过寻找像素和它邻近点的方法找到那么下一步就是去找到一个适合位置、尺度和主曲率比的详细数据。当对比度很低（对噪声敏感）或者图像局部边缘化时，这个信息允许被拒绝。这种在中心采样点的位置和规模内定位关键点的方法是Lo

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[151173]，资料为PDF文档或Word文档，PDF文档可免费转换为Word