英语原文共 12 页，剩余内容已隐藏，支付完成后下载完整资料

自动图像拼接的优化设计

摘 要

虚拟现实技术已经被广泛应用于航空航天、机器人远程操作以及生物医药等领域。全景图像拼接是其中一个非常重要的组成部分。由于使用普通相机拍摄的照片可能会出现失真、重叠和倾斜等情况，所以在这篇文章中，我们提出了一个在投影变换中的广泛的拼接算法。该算法首先使用Harris算子来提取角特征，采用改进的避免K值的随机性角落响应函数。然后采用快速RANSAC方法用于近似地匹配图像，采用作为特征点中心的灰色窗口的互相关法用来进一步完全匹配冗余特征点。然后它需要根据这两个图像之间求解该模型变换参数弯道信息，获取投影变换矩阵。最后，应用图像变形技术是用于重构具有空间变换的图像，结果这是与另外一个源图像拼接无缝地进行。实验结果表明该算法能够有效地实现了良好的拼接效果。

关键词：图像拼接 投影变换 图像变形 逆映射

1 引言

图像拼接技术早期主要集中应用于遥感和摄影领域。近年来，图像拼接已经变得越来越广泛地应用于照相、虚拟现实、视频以及图像处理等其他领域，它有着极其巨大的价值。用从拼接技术获得的全景图像来表示有效形式的现实世界，从而可以消除大量的图像序列的冗余信息和压缩的信息存储容量。

目前，许多研究者提出了许多不同的图像拼接方法。这些提出的方法主要是在讨论频域和空间域的不同方法。频域的方法是指使用傅里叶变换的相关相位变换，用变换技术来解决一些图像变换参数问题。空间域的方法是根据他们的性质分为基于区域的算法和基于特征的算法。基于区域的算法是从拼接图像的灰度值开始，通过计算来确定相似性图像灰度相关，然后得到拼接图像的重叠区域的范围和位置，从而实现图像拼接。而基于特征的图像拼接算法是指搜索图像重叠部分的特征点进而提取图像特征点进行匹配。这种算法具有较高的稳定性和鲁棒性，且具有更加广泛的应用。图像拼接过程中可能会遇到各种不同的情况，如图像平移、旋转和缩放等。所以，图像拼接算法的适用性要求也变得越来越高。Reddy和Chatter提出了一种基于快速傅里叶变换（FFT）的方法，利用极坐标变换和互功率谱来记录图像的平移、旋转和标度变换。在该方法中，相位相关技术是简单的而且准确的，但它需要具有更大的重叠比的图像。Richard Szeliski 提出了一种基于图像配准的二维空间中的投影变换八参数模型，利用迭代最小化算法伯格马夸特计算几何变换参数之间的图像。他的方法在处理翻转、旋转、仿射变换等图像拼接中具有良好的效果和其收敛速度快，已成为图像拼接领域中的经典算法之一。但在他的算法，提取的特征点进行手动估算点变换使得整个算法的自动化程度不够，提取和匹配特征点也有一定的误差。Matungka等人提出了一种结合自适应极坐标变换的自适应极坐标变换算法（一种投影变换算法）。该算法利用对数半径和角度的方向来表达分别对不同尺度和旋转参数，包括不同尺度的匹配问题。他们的算法的鲁棒性和准确性都很高，但计算复杂而且二极坐标也很高，并且运行效率不理想。针对现有算法的不足，本文的目的是描述了一个通用的框架应用在投影变换在所有这些计算可以代表。该算法在不同尺度图像上具有稳定性的拼接，对图像的平移和旋转具有很好的鲁棒性。

本论文的结构安排如下：第2部分主要介绍了全自动图像拼接的整体框架。第3部分给出了改进的Harris算子提取角点和创造理论图像之间采用快速RANSAC方法和灰色窗互相关方法角的对应关系。第4部分提供了一种解决投影变换的方法矩阵。第5部分介绍了图像变形技术，提出了图像拼接的过程。在第6部分中，我们给出了相关实验结果，并分析了实验结果。第7部分提供得出的结论。

2 自动图像拼接的整体框架

该算法的整体流程的介绍如图1。在下面的介绍中，每个被介绍的算法的细节都被描述。对算法的有效性进行分析，参数估计的过程是在第6节介绍。

图1所提算法的流程图

3 特征点检测与匹配

该角点被选择作为特征点，它代表了一个重要的局部特征的对象，它的思想是，通常可以被定义为不同的边界之间的边界对象，或在场景中的同一对象的不同部分。因此，角点检测在图像匹配、目标描述与识别、运动估计、目标检测和跟踪等领域等过程中具有重要意义。本文采用改进的Harris角点检测从而获得亚像素精度。角点特征提取采用的Harris角点检测算子为：

（1）

这里的I(x,y)是一个图像的灰度值。如果矩阵M的2个特征值有局部最大值，则这个点是一个特征。为了避免计算特征值，实际评价函数为:

R = detM — k . (traceM)² （2）

其中det表示矩阵的行列式，R在角落区域为正，边缘区域为负，在平坦区域中为小。阈值的值是由特征点的量确定。

根据参考文献中，k = 0.06，这是对噪声干扰的消除。M的计算用在方差为1的差分高斯函数。虽然比例因子的值K具有一定的经验范围，但是它仍有一定的随机选择。在各种不同的图像局部特征的情况下，角点提取效果差别很大，这会影响角点提取的可靠性和准确性，所以我们将改进Harris角点响应函数。考虑到原始R实际上是一个矩阵M中减去的M的微量广场，为差分信号，我们采用比值法的数学原理，方程式为：

（3）

我们添加一个非常小的量与分母为防止溢出，除数为零的时候，我们可以采取ε=10^-6。比值法的形式不需要选择K值，从而避免了随机对K值的影响，所以它具有较强的实用性以及可靠性。

我们采用快速RANSAC方法来初步实现图像配准。在计算机视觉领域，RANSAC算法是应用最为广泛的算法之一。它可以在即使损失得情况下，有效兴率仍然可以高达50%以上，但其缺点是计算效率较低。使用快速RANSAC方法保证了计算结果的不可改变的置信概率，并过滤掉了大量的一些模型参数的大偏差，提高RANSAC算法的整体效率。特征点可分为内点和异常点。为了防止无限循环，快速RANSAC方法也需要设置随机抽样数。

为了使精确匹配，以灰度为中心的特征点的互相关方法可以进一步用于匹配和计算冗余特征点。确定是否两特征点匹配是基于区域相关系数（两图像区域相关系数，LACC），所以一般被定义为：

（4）

其中，是灰色作为中心的一点（u，v），（2n 1）（2m 1）的大小在图像I_k (k=1,2)的领域内，（U1，V1）和（U2，V2）是两幅图像的特征点,sigma;（I_K）是为中心点（u，v）的灰度标准差，（2n 1）（2m 1）的大小在图像I_k的邻域。相关系数范围为[ - 1，1 ]。如果C等于-1，两个相关窗口不相似。如果C等于1，两个相关窗口完全相同。如果其中一对特征点能匹配，由式（4）得出的LACC的值一定大。相反，它没有建立的话，顺便可以大大减少这些特征点的匹配。

4 模型参数估计

现在II是在太空中的一架飞机。在两种观念下，其对应的图像点分别记为I₁和I₂。当(u′, v′, 1)^T isin;I₁和(u, v, 1)^T isin;I₂建立之后，这是一个任意对对应点，两幅图像的变换关系可以表示为：

(5)

其中，s是一个非零比例因子，是一个对于图像（I1，I2）关于飞机II的3乘以3的非奇异齐次矩阵。

由于均匀矩阵的一个尺度因子的差异是唯一的，我们可以得到2个线性方程的一对匹配点从关于h的式（5）.如果矩阵H被描述为矢量h=[h1,h2,h3,h4,h5,h6,h7，h8,h8]^T,则对H的线性方程给出为：

（6）

其中，,。

当ige;4,我们可以得到一个线性方程h，从而确定它。

H含有八个自由度。在理论上，我们需要选择至少四对特征点来估计。但是处理线性方法的结果往往是不稳定的，因此利用匹配特征点集进行非线性优化，必须进行非线性优化。在这里，我们尽量减少对称投影位置优化和估计的误差。误差函数被认为是目标优化函数，这是表达式：（7），它需要优化的参数{ h1，h2，hellip;，h9 }，需要使用非线性LM优化算法（Levenberg-Marquardt）最小化方程（7）。因此，我们可以通过LM算法得到近似Hessian矩阵a和加权梯度向量b。每一个元素为：

（9）

参数H的增量可以通过获得，是一个自动迭代调整的系数。如果错误F(H）在减小，也在减小，或者在增加，在一步一步地更新，直到F(H）达到指定的精度，所以我们可以快速得到一个准确的变换矩阵H。

5图像插值与融合

5.1图像变形

图像变形是一种十分流行的图像处理技术。它可以用一种自然、平滑并且逼真的方式将数字图像转换为另一种数字图像。它是一类广泛应用的技术，主要是用来实现图像插值与原图像像素点位置插值方法合成新图像。

图像变形经常使用2种映射方式：正向映射和逆映射。逆映射是优于正映射的，因为它不是把源图像的像素转换到目标图像的坐标空间，但发现在源图像中的目标图像的像素位置，通过插值获得对应的像素的值。因此，一些输出像素是避免出现在逆映射的空位置，但这可能不被绘制在正向映射中。

在本文中，我们采用逆映射的方法和根据投影变换矩阵来重建图像，即重采样插值源图像的逆映射。一般来说，这一点在图像上有真实的坐标，所以我们可以通过插值来确定该点的像素值。然后，我们可以再加上另一个源图像，以实现拼接过程下的投影变换。

5.2 拼接算法的过程

拼接算法的具体步骤如下：

1. 选择匹配点确定I1和I2之间的变换矩阵，其中I1和I2是两个待拼接的图像。如果（x_i,y_i)为图像I1的一角坐标，（u_i，v_i)是图像I2与（x_i,y_i)匹配的坐标，可以得到下面的方程，即：（u_i，v_i)=H（x_i,y_i) （9）

其中，H是变换矩阵，I是根据具体的变换模型来确定的。

（a)左图像 （339x328像素的大小） （b）右图像（300x239像素的大小）

图2 原始图像：

1. 左图像（339 x 328像素的大小）（b）右图像（300x239像素的大小）

2.对图像I2的H^-1进行反变换，用来计算对应点的坐标，并确定转换区域的边界。过程如下：首先，用公式（x，y)=H^-1（u,v)计算对应点坐标；然后计算I(x,y)=I₂(u,v)；接下来再进行射影变换，（x,y）isin;[x_min，y_min]times;[x_max,y_max]，[x_min，y_min]和[x_max,y_max]分别代表最大值、最小值在I的四个顶点坐标中，即，

（10）

其中，round()为积分函数。

1. 如果计算出的值可能是非整数坐标，I（x,y）的像素值可以由双线性插值法得到的。我们需要彩色图像的三个颜色分量值的插值I_R（x，y），I_G（x，y）,I_B（x，y)。
2. 缝合图像1和图像2。为了使拼接后的图像的平滑并且没有接缝，图像融合技术可以在这里被使用，例如，拉普拉斯的带通算法。但是由于文章的长度限制，融合技术将不会被详细描述。

（a）左图像 （b）右图像

图3 角点检测：（a）左图像 （b）右图像

图4图像变形

6实验结果

要评估建议的图像拼接算法的有效性，我们进行以下真实值与变换参数识别值的比较。在实验中，确定的值的变换参数计算如下：

1. 假设有N对匹配的特征点在图像I1和图像I2之间。将N对特征点分为M组，其中M= N/2。所以每一组包含两对特征点（P11（i），p21(i)）和P12（i）P22（i）），i = 1,2，hellip;，M.

图5 拼接后的图像

表1比较真实的值和变换参数值得出的值