摘 要

人类感知外界信息，80%是通过视觉获取的，3D重构是计算机视觉最重要的研究问题之一。它是通过研究物体的二维信息，来推导出其三维信息的技术。

本文研究利用手机采集的刚性物体图像序列，通过对图像序列的特征提取、估计相机运动、标定相机等步骤恢复出刚性物体三维模型，同时利用相机成像原理以及场景结构先验信息，提高重建算法的准确度。使用运动恢复结构方法需要的成本很低，只需要多个重叠的照片作为输入，用于特征提取和三维重建算法，同时大量的数据采集降低了用户的监督耗时和所要求的专业知识。

本文主要分析了图像特征点提取算法，研究现有三维重建技术的特点，重点研究采用运动恢复结构算法原理，加速重建效果，改善重建质量。

关键词 :运动恢复结构，特征提取，三维重建

Abstract

Human perception of external information, 80% is acquired by visual, 3-D reconstruction is one of the most important research problem in computer vision. It is a 2-D object by studying information technology to derive the 3-D information.

In this thesis, we study the rigid image sequence acquired by phone, through the feature extraction of image sequence, estimation camera movement, camera calibration and other steps to restore the 3-D rigid object model, while taking advantage of the camera imaging geometry and scene structure prior information to improve the reconstruction algorithm accuracy. The cost of the algorithm is very low, only a plurality of overlapping photos as input for feature extraction and 3-D reconstruction algorithm, while a large number of time-consuming data collection reduces the oversight and expertise required by the user.

The thesis analyzes the image feature extraction algorithm to study the characteristics of the current 3-D reconstruction technology, focusing on the principle of the use of motor recovery algorithm structure, accelerate reconstruction results in improving the quality of reconstruction.

Keywords: SFM，Feature Extraction，3-D reconstruction

目录

第1章 绪论 1

1.1 课题研究背景 1

1.2 国内外研究现状 1

1.3 研究内容和论文结构 2

第2章 三维重建理论知识 4

2.1 射影几何基础 4

2.1.1 射影空间 4

2.1.2 齐次坐标 5

2.1.3 射影不变量 5

2.2 摄像机成像原理 5

2.2.1 参考坐标系 5

2.2.2 摄像机模型 7

2.3 相机标定 7

第3章 特征提取 9

3.1 概述 9

3.2 特征点提取算法 9

3.2.1 Harris特征点提取原理 9

3.2.2 SIFT方法 10

3.3 特征点的匹配 11

3.3.1 常规方法 11

3.3.2 SIFT匹配方法 12

第4章 基于运动恢复结构的三维重建 14

4.1 系统架构 14

4.2 系统工作流程 14

4.3 App运行展示 25

第5章 总结 27

5.1 工作总结 27

5.2 收获及心得 27

参考文献 29

致谢 31

第1章 绪论

1.1 课题研究背景

我们通过视觉，听觉，嗅觉等感官来获取外界信息，在这些感官中，大多数人都是通过视觉获取的信息最多，我们每天起床用眼睛看到了各种各样的事物。除了一些盲人之外，约占所有感官的80%^[1]。计算机视觉，从字面上讲，就是让计算机能像人一样看，摄像机就仿佛人的眼睛，摄像机获取的信息能传给计算机并让计算机理解。计算机视觉领域最热门，最重要的研究问题之一就是三维重建，三维重建技术具有广泛的应用前景，例如现在最热门的虚拟现实技术（VR），3D打印机，三维游戏等。

主流的计算机三维重建方法分为两类。一类是使用开发出来几何建模软件，人工建立物体三维几何模型,另一类是通过一定的装置或手段，获取物体的实际几何形状来进行三维重建。前一种技术已经十分成熟,代表性的软件有,:3DMAX、Maya、AutoCAD、UG等。在上述软件中，我们采用数学表达式，表示出物体的实际几何形状。第二种方法称为三维重建。我们采用计算机视觉，射影几何学和高等数学领域的知识，在物体的二维信息中找到其隐藏的三维信息，从而进行三维重建。主要的步骤有：物体二维信息的获取，如得到物体的图片集，有条件的可以进行预处理；图片的特征点提取和匹配，和三维场景重建等。运动恢复结构（SFM）是一种低成本而有效的^[2]方法，通过分析从不同角度拍摄的物体二维图像，确定该物体的三维信息，从而重构出物体三维场景。运动恢复结构的工作流程如下：图像获取和特征点提取,特征点匹配,相机标定，后期处理并得到数字高程模型等。

人类理解通过眼睛看到的外界信息是很轻松的事情，但是对于计算机来说就没那么容易了，主要的困难有：

（1）重建问题自身的二义性：因二维图像中有丢失的不可见信息，导致同一个物体从不同角度可能得到不同的二维图像，或者是不同的物体的投影图像可能会相同。

（2）环境因素：光照强度的干扰以及前景遮挡，物体的物理特性（比如反光和形状），或者是摄像机的像素等任何因素的变化都将影响得到的图片。

1.2 国内外研究现状

基于运动恢复结构的3D重构技术是在20世界90年代开发出来的^[3]。使用运动恢复结构（SFM）方法需要的成本很低，同时大量的数据采集降低了用户的监督耗时和所要求的专业知识^[4]。SFM的关键问题是，在从不同的角度拍摄的多个照片上，确定匹配特性的三维位置。解决这个问题最初的处理步骤是，在用于图像通信的个体图像的特性的识别。这一方面流行的解决方案，被推广的方法是尺度不变特征变换(SIFT)物体识别系统^[5]。这是在SFMToolkit3中实现,通过结合了SiftGPU算法^[6]。关于三维场景重建,这方面有RANSAC算法，并在建立的一组照片中“跟踪”连接特定的关键点。跟踪包括至少两个和三个关键点用于点云重建,那些不符合这些标准的被自动丢弃。^[7]然后是后期处理和数字高程模型生产,这个方面有Rychkov等人(2012)开发的网格化过程^[8]。

国内对三维重建的研究有许多，做好的成品有HTC公司开发出来的虚拟现实头盔，对于算法的研究，有利用二维几何基元及其性质的重建算法，减少投影匹配次数，这种方法比传统的方法快了10倍^[9]；有从结构光方面进行研究，提高测量精度的^[10]。有基于图像匹配和点云融合的研究，有限减少了算法执行时间^[11]；有基于辅助信息的无人机图像批处理方面的研究，这种方面应用层面更加广泛^[12]；有研究农林作物的三维模型的，对农作物的生长和发展很有帮助^[13]等等，国内的三维重建研究在各个方面都有进展。

1.3 研究内容和论文结构

本文主要研究利用采集的刚性物体图像序列，通过对图像序列的特征提取、估计相机运动、标定相机等步骤恢复出刚性物体三维模型，同时利用相机成像几何以及场景结构先验信息，提高重建算法的准确度