图像拼接融合是指将具有重合部分的图片拼接成为一张宽场景无缝图片的技术，被广泛应用于天文、海底勘测、虚拟现实、数码相机等领域。随着数字图像处理技术的快速发展和应用领域的逐渐拓展，越来越多的应用对全景图像的拼接质量也有了更高的要求。因此，对该课题的研究具有十分重要的理论意义和实际意义。

在图像拼接和融合的过程中，最关键的步骤是图像配准和图像融合。目前最常用的配准方法是基于特征的图像配准，传统的图像配准算法是David Lowe于1999年提出并于2004年完善的尺度不变特征变换 (SIFT)算法，然而, Lowe的尺度不变特征变换的算法复杂度是相对较高的，之后学者们提出了许多改进算法。Herbert Bay于2006年提出的一种新的尺度和旋转不变量兴趣点检测器和描述符，即加速稳健特征(SURF)算法，其原理与SIFT算法类似，但减少了特征提取时间，计算速度更快。常见的图像融合算法主要有直接平均法、加权平均法、线性加权法、泊松融合算法、多频段融合算法，但这些算法都无法解决鬼影和曝光差异等问题。

2. 研究的基本内容与方案

现有的算法在进行图像拼接时都是随机地从特征匹配点集合中挑选特征匹配点来计算单应性矩阵，然后判断是否绝大多数特征点都满足所求的单应性变换模型，如果满足则用所求的单应性矩阵对图像进行配准，如果不满足则需要重新挑选匹配特征点来计算单应性变换模型，迭代进行上述步骤直到绝大多数点都满足单应性变换模型。这种随机选取特征点对往往会使特征点过于集中，这种特征匹配对计算得到的单应性矩阵往往不具备全局性。而且只有分布在重叠区域的特征点才是用于匹配的有用特征点。计算非重叠区域的配准质量不仅没有意义而且还会影响配准结果，增加计算量。同时，常见的图像融合算法往往会出现曝光差异和鬼影现象。

针对以上问题，可以通过特征分块快速地确定图像间的重叠区域和非重叠区域，避免非重叠区域的干扰，解决特征点过于密集的问题，提高匹配的效率和准确率。通过结合最佳缝合线搜索和图像融合算法来解决鬼影现象。

现有的拼接技术包括OpenCV-stitcher、微软的ICE等，但是这些方法要求拼接图片的重叠区域场景没有深度变化，否则拼接效果较差。我的毕业设计将在总结现有拼接技术和算法的基础上，使用Python OpenCV工具，选取SIFT算法予以实现，同时拟采用特征分块和基于动态规划寻找最佳缝合线的方法以解决现有常规融合技术中的融合速度较慢、鬼影和曝光差异问题。

[1] Richard Szeliski. Computer Vision：Algorithms and Applications.Springer. 2010

[2] Jan Erik Solem. Programming Computer Visionwith Python. O’Reilly Media, Inc. 2012

[3] Michael Beyeler. Machine Learning for OpenCV.Packet Publishing. 2017

[4] LI X, HUI N, SHEN H, et al.A robust mosaickingprocedure for high spatial resolution remote sensing images[J].ISPRS Journal ofPhotogrammetry and Remote Sensing, 2015, 109:108-125.