摘 要

图像拼接技术从出现到发展一直是数字图像处理领域中的热点问题，该技术利用两张或多张具有重叠区域的窄视角图像拼接成一张宽视角、高分辨率的全景图像，解决了现有成像设备受硬件限制而无法同时满足大场景和高分辨率需求的问题。图像拼接技术涉及了多个领域，融合了包括图像处理学、计算机视觉等多个学科知识，具有重要的研究意义。目前图像拼接存在着实时性一般、对光照差异化较大的图像拼接质量不高等问题，本文主要从配准算法的实时性和鲁棒性以及多幅图像的全景拼接方面展开了研究。主要工作如下：

1.首先分析了图像拼接的基本流程，并对图像拼接的各个步骤及步骤中涉及到的关键原理和主流技术展开了研究、分析和比较。

2.对图像配准经典算法进行了比较分析。图像配准是图像拼接领域中的重点研究内容，其中又以基于特征的图像配准算法应用较为广泛，本文对其中的一些经典算法，包括SIFT特征检测算法、SUFR特征检测算法进行了深入的原理分析，通过实验验证和比较了两种算法的优缺点以及适用场景。

3.进行了基于特征的图像拼接研究，并设计出基于OpenCV和Qt的全景图像拼接软件。

图像拼接技术的实际应用十分广泛，在社会媒体、工业制造、医疗设备和军事安防等领域都取得了广泛的应用。伴随着数字图像处理技术的蓬勃发展，图像拼接技术将取得更宽广的应用前景。

关键词：图像拼接 图像配准 特征检测 特征匹配

Abstract

Image mosaic technology has always been a hot issue in the field of digital image processing. It uses two or more narrow-angle images with overlapping areas to form a wide-angle, high-resolution panoramic image, which solves the existing Imaging devices being limited by hardware and cannot meet the needs of both large scenes and high resolution requirements. Image stitching technology involves many fields, and integrates knowledge of many disciplines including image processing and computer vision, which has important research significance. At present, image stitching has the problems of real-time generality and low image mosaic quality with high illumination differentiation. This paper mainly studies the real-time and robustness of the registration algorithm and the panoramic mosaic of multiple images. main tasks as follows:

Firstly, the basic flow of image stitching is analyzed, and the key principles and mainstream technologies involved in each step and step of image stitching are researched, analyzed and compared.

Then the classic algorithm of image registration is compared and analyzed. Image registration is the key research content in the field of image stitching. Among them, feature-based image registration algorithm is widely used. In this paper, some classical algorithms, including SIFT feature detection algorithm and SUFR feature detection algorithm, are deeply developed. Analysis, verify and compare the advantages and disadvantages of the two algorithms and the applicable scenarios.

Finally, the feature-based image stitching research is carried out, and the panoramic image stitching software based on OpenCV and Qt is designed.

The practical application of image stitching technology is very extensive, and has been widely used in social media, industrial manufacturing, medical equipment and military security. With the rapid development of digital image processing technology, image stitching technology will achieve a broader application prospect.

Keywords: image mosaic; image registration; feature detection; feature matching

目 录

图像拼接关键技术研究 - 1 -

·摘 要 - 2 -

Abstract - 3 -

1. 绪论 - 6 -

1.1课题背景与意义 - 6 -

1.2国内外研究现状及发展趋势 - 7 -

1.3论文主要工作及章节安排 - 9 -

2.图像拼接关键技术与原理 - 11 -

2.1图像拼接的基本流程 - 11 -

2.2图像采集 - 11 -

2.3图像预处理 - 13 -

2.4图像配准 - 14 -

2.5图像变换 - 14 -

2.6图像融合 - 16 -

2.7本章小结 - 17 -

3.基于特征的图像配准算法研究 - 18 -

3.1 基于SIFT特征的图像配准算法 - 18 -

3.1.1尺度空间极值检测 - 18 -

3.1.2特征点的定位 - 23 -

3.1.3特征点方向角度的确定 - 24 -

3.1.4生成特征点描述符 - 25 -

3.2 基于SURF特征的图像配准算法 - 26 -

3.2.1图像积分计算 - 26 -

3.2.2尺度空间极值检测 - 27 -

3.2.3特征点精确定位 - 28 -

3.2 本章小结 - 29 -

4.基于特征的图像配准与拼接实验仿真 - 30 -

4.1 实验环境 - 30 -

4.2 配准算法鲁棒性测试 - 30 -

4.2.1 尺度变换鲁棒性测试 - 30 -

4.2.2 旋转变换鲁棒性测试 - 31 -

4.2.3 视角变换鲁棒性测试 - 33 -

4.2.4 光照变换鲁棒性测试 - 35 -

4.2.5 配准算法比较与总结 - 37 -

4.3 基于特征的图像拼接实验 - 37 -

4.3.1手机旋转拍摄 - 37 -

4.3.2特征点匹配 - 38 -

4.3.3坐标变换 - 38 -

4.3.4初步拼接 - 39 -

4.3.5拼缝消除 - 39 -

4.4本章小结 - 40 -

5.全景图像拼接软件设计 - 41 -

5.1 拼接软件环境搭建 - 41 -

5.2 主要功能模块 - 41 -

5.3 实验展示 - 42 -

5.3.1拼接实验1 - 42 -

5.3.2拼接实验2 - 42 -

5.3.3拼接实验3 - 43 -

5.4 本章小结 - 44 -

6.总结与展望 - 45 -

6.1 论文总结 - 45 -

6.2 工作展望 - 45 -

致 谢 - 46 -

参考文献 - 47 -

绪论

1.1课题背景与意义

近年来，在社会多媒体科技发展与进步的同时，人们在生活以及工作过程中对高分辨率、广视角图像的需求也越来越大，但是目前的图像采集设备例如数码相机和手机等的视场范围受到硬件限制，无法直接获取高分辨率和超宽视角同时兼顾的全景照片。目前有以下两种方式来获取全景图像^[1]：（1）直接利用专业广角成像设备来拍摄，如鱼眼镜头，但是这类镜头不仅造价高，而且拍得的图像存在严重的几何畸变，即使经过矫正，也存在分辨率不均匀等问题；（2）调节相机焦距，获得更大视场的图像，但是这样获取的图像空间分辨率很低，达不到图像清晰度的要求。为了同时满足宽视场和高分辨率的需求，人们就想到了在计算机软件的帮助下进行图像拼接合成全景图像，从而衍生出了图像拼接技术。

图像拼接技术是指将多幅具有重叠区域的图像序列，通过图像配准和图像融合技术，合成一张兼顾大视角与高分辨率的新图像^[2]。这项技术在民用和军事范围内都取得了广泛的应用：

（1）医学影像分析^[3]：在医学领域中，临床技术人员越来越多地将图像配准和融合技术应用到病情诊断上来。通常情况下，单一模态下的医学图像无法满足诊断需求。因此可以通过图像拼接技术对不同模态下的多张医学影像进行合成，并经过后期三维重建处理，得到一个更方便医生观察的人体组织和器官及其三维结构，以便做出更加准确的诊断；

（2）虚拟现实场景构建^[5]：近年来虚拟现实技术发展迅速，智能可穿戴设备例如VR眼镜等已走进人们的日常生活。利用全景图像拼接技术，将一组相邻的图像合成为全景图像来构建虚拟场景，相比于传统的场景建模来搭建虚拟环境，全景图像拼接技术更加简单有效，场景逼真度也更高；

（3）武器全景巡视系统^[6]：在国防领域中，例如坦克装甲车和潜艇内，传统的取景器材和成像设备不能得到全景的作战环境图像，武器的驾驶员和作战人员就无法掌握周围的全局信息。因此利用全景图像拼接技术，将武器外的多个成像设备得到的图片进行拼接合成全景图，并可以进一步处理为实时视频，使作战效率得到提高；

（4）机载图像拼接^[7]：大视场、高分辨率航空图像在军用领域有着重要的意义,但受到航空相机硬件条件的限制,无法兼顾图像的视场和分辨率。因此可以利用图像拼接技术，将机载成像设备得到的不同角度的图像序列进行拼接合成一副大视场、高分辨率的全景图像，用于作战中的侦察和评估。

通过上面的分析可以看出，图像拼接技术具有很大的现实应用意义，在包括民用和军事的许多领域中都起到了非常重要的作用, 因此研究图像拼接技术也是一门十分重要的课题。

1.2国内外研究现状及发展趋势

图像配准作为图像拼接最关键的步骤，决定着拼接的最终效果^[8]。

以变化域分类，图像配准方法有以下两种：

（1）基于频域的图像配准：美国的两名学者C. D. Kuglin和D. C. Hines^[9]于1975年首先提出基于频域相位的配准，该方法对待拼接的图像进行2D的傅里叶变换，再到频域内对图像进行处理。这种方法只符合平移关系的图像配准，不符合旋转和尺度变化关系的图像配准，适用性很有限；1986年，学者Alliney和Morandi^[10]将二维傅里叶变换求解相对位移量改进为一维傅里叶变换求解，因此提高了计算效率，不过仍然只能适用于平移变换；1996年，学者Reddy和Chatterji^[11]对C. D. Kuglin的方法做出了改进，提出基于快速傅里叶变换和极坐标系下的方法，解决了前人一直没有解决的图像平移、旋转和尺度变化的配准问题；国内也有不少人研究此类算法，如2004年，李中科等^[12]通过结合一维和二维相位相关技术来解决具有旋转和平移关系的图像配准问题；2005年，李忠新等^[13]对Reddy的算法进行了一些改进；2008年，方俊伟等人^[14]结合极坐标和相位相关提出了符合图像平移、旋转关系的图像配准。

对于频域内的图像配准算法，传统的相位相关法只能解决图像平移的问题，经过改进后，可适用于平移、旋转、尺度变换的场景，但同时也需要增大计算量，因此该配准方法的适应性和应用性较低。

（2）基于空间域的图像配准：一般将空间域内的图像配准方法分为基于灰度和基于特征这两类。基于灰度的配准方法，又称几何区域相关算法，现阶段该方法已发展的十分成熟。这类方法通过空间2D滑动模板和像素的灰度值信息，根据已知模板，到待配准图像中寻找与模板相似的子图像，从而可以计算得出两幅待配准图像的相关性，并由此求解建立出两幅图像间的几何变换关系，即达成配准。比较有代表性的是学者Szeliski^[15]于1996年提出的误差平方和算法（SSD），即通过计算得到的待配准图像的重叠区域的对应像素的灰度差值平方（Sum of Squared Difference），来度量两幅图像的相关性。此外，常用的还有ABS， NCC和SSDA等。对于几何区域相关算法，其原理较为简单，配准的效果也不错，不过仍遗留着某些问题，例如对光照差异非常敏感，对具有旋转、仿射等变换的图像不能进行处理等。

基于特征的图像配准方法，首先提取图像的特征生成特征描述子，然后根据描述子的相似程度对两幅图像进行特征匹配从而得到配准图像之间的变换关系。图像的特征主要可以分为点特征、线特征和面特征，其中面特征也被称为区域特征或者灰度特征，因此也有学者将基于灰度的图像配准方法归纳为一种基于特征的图像配准方法。1988年，学者Harris^[16]等提出了一种角点检测算法，用于检测图像中对旋转变换和平移变换不敏感的特征点，但是Harris角点特征的最大缺陷就是对于具有尺度变换关系的配准效果很差；1996年，微软公司的著名学者Richard Szeliski教授设计并提出了一种具有八个参数的投影变换模型^[17]，由此奠定了全景图像拼接技术的基本框架；1999年，哥伦比亚大学学者D. G. Lowe提出了尺度不变特征变换 (Scale-invariant feature transform, SIFT) 算法^[18]，并在2004年进行了完善^[19]。SIFT算法通过高斯差分金字塔（DOG）寻找图像极值点来检测特征点，SIFT特征点具有平移、旋转和尺度不变性，配准效果十分优秀；2007年，学者M. Brown和D. G. Lowe提出了基于SIFT特征的全景图像拼接方法^[20]，奠定了 “SIFT RANSAC” 的组合在图像拼接技术中的基础地位；SIFT算法的性能虽然优秀，但是其特征提取时间较长，因此，在2006年底，Bay等人基于SIFT算法，提出了一种加速稳健特征算法 (Speeded Up Robust Features, SURF) ^[21]，SURF算法保留了SIFT算法的尺度不变性，同时简化了计算，有效地加快了特征点提取速率；除了SIFT和SUFR算法外，基于特征的配准算法还有ORB、FAST、BRISK等等。

在查阅和研究大量文献资料后发现，基于特征的图像拼接技术应用最为广泛，但是该技术仍无法兼顾拼接效果和拼接速度，只能在一定的场景下使用相对应的特征算法。本文针对以上不足，深入研究具有代表性的基于SIFT特征和SURF特征的图像配准算法，分析比较两种算法的鲁棒性和应用场景，最终选择SURF算法设计全景图像拼接软件。

1.3论文主要工作及章节安排

第一章：绪论。主要介绍了图像拼接技术的研究背景、意义以及应用场景，对该领域国内外的研究历史与近况进行了阐述与总结，并分析了当前技术存在的不足之处，以及对本文的各个章节安排进行了说明。

第二章：图像拼接关键技术与原理。对图像拼接的基本流程进行了说明，逐步介绍了各流程的原理与方法并进行了分析与比较。

第三章：基于特征的图像配准算法研究。深入研究了SIFT和SURF这两种特征检测算法的原理，对尺度空间、极值检测、图像积分等原理展开了详细介绍。

第四章：基于特征的图像配准与拼接实验仿真。从尺度、旋转、视角和光照变换四个方面验证SIFT算法和SURF算法的鲁棒性，并分析比较得出两种算法的优缺点，然后选用SURF进行了基于特征的图像拼接实验。

第五章：全景图像拼接软件设计。借助OpenCV和Qt平台，设计一款全景图像拼接软件，实现人机交互功能。

第六章：总结与展望。

2.图像拼接关键技术与原理

2.1图像拼接的基本流程

图像拼接基本流程与步骤如图2-1所示：

图像配准

图像变换

图像预处理

图像融合

图像采集

拼接图像

图2-1 图像拼接的基本流程

图中每个步骤所要做的工作及其作用如下：

1. 图像采集：通过相机、摄像头等设备采集两张及以上待拼接图像，并保证待拼接图像具有一定的重叠区域；
2. 图像预处理：在进行拼接之前预先对待拼接图像去除噪声及畸变矫正，以消除其对图像拼接的影响；
3. 图像配准：图像配准是图像拼接的关键步骤，旨在寻找待拼接图像中的重叠区域，由此得到图像之间的几何变换关系；
4. 图像变换：将待拼接图像的坐标变换到统一的参考平面上，以保证各物体在全景拼接图像的视觉一致性；
5. 图像融合：消除图像之间的拼缝，使拼接图像的光度和色度一致，获得更好的视觉效果。

2.2图像采集

对于图像拼接，待拼接图像需满足以下两点要求：

1. 相邻的待拼接图像之间必须保留一定重叠区域，这样才能在拼接过程中找到有效的配准。重叠率太低会使信息不够而导致配准失败，太高则会使信息处理量增大，根据经验，相邻图像的重叠率在30%至50%较为合适。
2. 在拍摄过程中，应保证拍摄的连续性和稳定性，以提高配准精度。

目前常用的图像采集方法有：

1. 单相机旋转拍摄：通过三脚架固定相机或手机，或者手持相机，旋转相机镜头拍摄或者录像后截取图像帧来获取待拼接图像，如图2-2所示：

图2-2 单相机旋转拍摄

1. 单相机平移拍摄：通过三脚架固定相机或手机，或者手持相机，平移相机镜头拍摄或者录像后截取图像帧来获取待拼接图像，如图2-3所示：

图2-2 单相机平移拍摄

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：