基于SLAM的增强现实注册方法研究文献综述
2020-04-14 20:02:59
1．目的及意义
随着社会经济的发展，科学技术的进步，越来越多的机器人（如扫地机器人，无人机，智能宠物等），娱乐生产方式（VR，AR，MR等）逐渐进入人们的视野，给人类生活带来了很多便利。在生活与生产环境中运用这些设备，SLAM（Simultaneous Localization and Mapping，即时定位与地图构建）是所需要的关键技术之一。SLAM最早在机器人领域提出，旨在使机器人从未知环境的未知地点出发，在运动过程中重复观测到的地图特征（如，墙角，柱子等）定位自身位置和姿态，再根据自身位置增量式的构建地图，从而达到同时定位和地图构建的目的。SLAM具有重要的学术价值和应用价值，一直以来都被认为是实现全自主移动机器人的关键技术。SLAM的研究主要方向有激光雷达SLAM，和视觉SLAM。激光SLAM采用2D或3D激光雷达，2D激光雷达多用于室内机器人领域，而3D激光雷达多用于无人驾驶领域。视觉SLAM主要采用单目相机、双目相机和RGBD相机三种传感器。相比激光雷达，作为视觉SLAM传感器的相机更加便宜、轻便，而且随处可得，另外图像能提供更加丰富的信息，特征区分度更高，缺点是图像信息的实时处理需要很高的计算能力。但随着计算硬件的能力提升，在小型PC和嵌入式设备，乃至移动设备上运行实时的SLAM已经成为了可能。
现代流行的视觉SLAM系统大概可以分为前端和后端。前端完成数据关联，相当于VO（视觉里程计），研究帧与帧之间变换关系，主要完成实时的位姿跟踪，对输入图像进行处理，计算姿态变化，同时也检测并处理闭环，当有IMU信息时，也可以参与融合计算（视觉惯性里程计VIO的做法），后端主要对前端的输出结果进行优化，利用滤波理论（EKF、PF等）或者优化理论进行树或图的优化，得到最优的位姿估计和地图。现代比较成功的实时SLAM系统大多采用优化的方法。
MonoSLAM于2007年由Davison等开发，基于单目摄像头的纯视觉SLAM系统。同年Murray和Klein发表了PTAM（Parallel Tracking and Mapping）并开源，它是首个基于关键帧BA的单目视觉SLAM系统，在2009年移植到手机端。PTAM在构架上做出了创新的设计，它将姿态跟踪（Tracking）和建图（Mapping）两个线程分开并行进行，这在当时时一个创举，成为了现代SLAM系统的标配。具体而言，姿态线程不修改地图，只是利用已知地图来快速跟踪，而建图线程专注于地图的建立、维护和更新。即使建立地图线程耗时稍长，姿态跟踪线程仍然有地图可以跟踪（如果设备还在已建成的地图范围内）。2011年，Newcombe等人提出了单目DTAM系统，其显著特点是能实时恢复场景三维模型。2013年，TUM机器视觉组的Engel等人提出了一套基于直接法的视觉里程计系统，2014年，该系统扩展为视觉SLAM系统LSD-SLAM，并开源了代码。同年，苏黎世大学机器人感知组的Forter等人提出开源的SVO系统，该系统对稀疏的特征块使用直接法配准（Sparse Model-based Image Alignment），获取相机位姿，随后根据光度不变假设构造优化方程对预测的特征位置进行优化（Feature Alignment），最后对位姿和结构进行优化（Motion-only BA和Structure-only BA），而在深度估计方面，构造深度滤波器，采用一个特殊的贝叶斯网络对深度进行更新。2015年，Mur-Artal等提出了开源的单目ORB-SLAM，并于2016年扩展为支持双目和RGBD传感器的ORB-SLAM，它是目前支持传感器且性能最好的视觉SLAM系统之一。2016年，TUM机器视觉组的Engel等人又提出了DSO系统。该系统是一种新的基于直接法和稀疏法的视觉里程计，它将最小化光度误差模型和模型参数联合优化方法相结合。2017年，香港科技大学的沈绍劼老师课题组提出了融合IMU和视觉信息的VINS系统，同时开源手机和Linux两个版本的代码，这是首个直接开源手机平台代码的视觉IMU融合SLAM系统。
{title}
[1] 高翔. 视觉SLAM十四讲从理论到实践. 电子工业出版社，2017
[2] 赵越. 实时增强现实中运动目标及场景的跟踪注册关键问题研究[D]. 2015.
[3] 闫兴亚, 范瑶. 一种基于SLAM的增强现实跟踪注册方法[J]. 计算机与数字工程, 2017, 45(12):2470-2473.
[4] 严雷, 杨晓刚, 郭鸿飞, 陈靖. 结合图像识别的移动增强现实系统设计与应用[J]. 中国图象图形学报, 2016, 21(02):184-191.
[5] 闫兴亚, 范瑶. 一种基于改进SLAM的增强现实跟踪注册方法[J]. 计算机与数字工程, 2018, 46(12):2565-2569.
[6] 赵越, 李晶皎, 王爱侠, 杨丹. 基于IEKF-SLAM的未知场景增强现实跟踪注册算法[J]. 计算机工程, 2016, 42(01):272-277.
[7] 雍玖, 王阳萍, 雷晓妹. MEEM跟踪和改进ORB特征检测的三维注册方法[J/OL]. 计算机工程与应用:1-9[2019-02-19]. http://kns.cnki.net/kcms/detail/11.2127.tp.20190116.1740.019.html.
[8] 高翔, 安辉, 陈为, 潘志庚. 移动增强现实可视化综述[J]. 计算机辅助设计与图形学学报, 2018, 30(01):1-8.
[9] 赵洋, 刘国良, 田国会, 罗勇, 王梓任, 张威, 李军伟. 基于深度学习的视觉SLAM综述[J]. 机器人, 2017, 39(06):889-896.
[10] 王爱丽, 胡长雨, 韩闯. 基于ORB特征的复杂场景下的增强现实[J]. 哈尔滨理工大学学报, 2018, 23(02):23-28.
[11] 雍玖, 王阳萍, 雷晓妹. 基于改进KCF的跟踪注册方法[J]. 计算机工程与科学, 2018, 40(04):690-698.
[12] 王月, 张树生, 何卫平, 白晓亮. 基于模型的增强现实无标识三维注册追踪方法[J]. 上海交通大学学报, 2018, 52(01):83-89.
[13] Liang Zhao, Shoudong Huang, Gamini Dissanayake. Linear SLAM: Linearising the SLAM problems using submap joining[J]. Automatica,2019,100:.
[14] R. Mur-Artal, J. D. Tardós, "ORB-SLAM2: An open-source SLAM system for monocular stereo and RGB-D cameras", IEEE Trans. Robot., vol. 33, no. 5, pp. 1255-1262, Oct. 2017.
[15] Yuxiang Sun,Ming Liu,Max Q.-H. Meng. Motion removal for reliable RGB-D SLAM in dynamic environments[J]. Robotics and Autonomous Systems,2018,:.
随着社会经济的发展，科学技术的进步，越来越多的机器人（如扫地机器人，无人机，智能宠物等），娱乐生产方式（VR，AR，MR等）逐渐进入人们的视野，给人类生活带来了很多便利。在生活与生产环境中运用这些设备，SLAM（Simultaneous Localization and Mapping，即时定位与地图构建）是所需要的关键技术之一。SLAM最早在机器人领域提出，旨在使机器人从未知环境的未知地点出发，在运动过程中重复观测到的地图特征（如，墙角，柱子等）定位自身位置和姿态，再根据自身位置增量式的构建地图，从而达到同时定位和地图构建的目的。SLAM具有重要的学术价值和应用价值，一直以来都被认为是实现全自主移动机器人的关键技术。SLAM的研究主要方向有激光雷达SLAM，和视觉SLAM。激光SLAM采用2D或3D激光雷达，2D激光雷达多用于室内机器人领域，而3D激光雷达多用于无人驾驶领域。视觉SLAM主要采用单目相机、双目相机和RGBD相机三种传感器。相比激光雷达，作为视觉SLAM传感器的相机更加便宜、轻便，而且随处可得，另外图像能提供更加丰富的信息，特征区分度更高，缺点是图像信息的实时处理需要很高的计算能力。但随着计算硬件的能力提升，在小型PC和嵌入式设备，乃至移动设备上运行实时的SLAM已经成为了可能。
现代流行的视觉SLAM系统大概可以分为前端和后端。前端完成数据关联，相当于VO（视觉里程计），研究帧与帧之间变换关系，主要完成实时的位姿跟踪，对输入图像进行处理，计算姿态变化，同时也检测并处理闭环，当有IMU信息时，也可以参与融合计算（视觉惯性里程计VIO的做法），后端主要对前端的输出结果进行优化，利用滤波理论（EKF、PF等）或者优化理论进行树或图的优化，得到最优的位姿估计和地图。现代比较成功的实时SLAM系统大多采用优化的方法。
MonoSLAM于2007年由Davison等开发，基于单目摄像头的纯视觉SLAM系统。同年Murray和Klein发表了PTAM（Parallel Tracking and Mapping）并开源，它是首个基于关键帧BA的单目视觉SLAM系统，在2009年移植到手机端。PTAM在构架上做出了创新的设计，它将姿态跟踪（Tracking）和建图（Mapping）两个线程分开并行进行，这在当时时一个创举，成为了现代SLAM系统的标配。具体而言，姿态线程不修改地图，只是利用已知地图来快速跟踪，而建图线程专注于地图的建立、维护和更新。即使建立地图线程耗时稍长，姿态跟踪线程仍然有地图可以跟踪（如果设备还在已建成的地图范围内）。2011年，Newcombe等人提出了单目DTAM系统，其显著特点是能实时恢复场景三维模型。2013年，TUM机器视觉组的Engel等人提出了一套基于直接法的视觉里程计系统，2014年，该系统扩展为视觉SLAM系统LSD-SLAM，并开源了代码。同年，苏黎世大学机器人感知组的Forter等人提出开源的SVO系统，该系统对稀疏的特征块使用直接法配准（Sparse Model-based Image Alignment），获取相机位姿，随后根据光度不变假设构造优化方程对预测的特征位置进行优化（Feature Alignment），最后对位姿和结构进行优化（Motion-only BA和Structure-only BA），而在深度估计方面，构造深度滤波器，采用一个特殊的贝叶斯网络对深度进行更新。2015年，Mur-Artal等提出了开源的单目ORB-SLAM，并于2016年扩展为支持双目和RGBD传感器的ORB-SLAM，它是目前支持传感器且性能最好的视觉SLAM系统之一。2016年，TUM机器视觉组的Engel等人又提出了DSO系统。该系统是一种新的基于直接法和稀疏法的视觉里程计，它将最小化光度误差模型和模型参数联合优化方法相结合。2017年，香港科技大学的沈绍劼老师课题组提出了融合IMU和视觉信息的VINS系统，同时开源手机和Linux两个版本的代码，这是首个直接开源手机平台代码的视觉IMU融合SLAM系统。
{title}
2. 研究的基本内容与方案
{title} 研究的基本内容为利用单目摄像机获取ORB特征，在运动过程中构建与现实环境一致的地图，并利用所构建的地图对物体的位置和姿态数据进行实时计算更新。三维注册的主要任务是监测使用者头部位置以及视线方向，计算虚拟物体在投影面的位置坐标，将虚拟物体准确地置于真实场景中，使用户感觉不出虚拟物体与真实场景的差异，设计的内容将主要包括三个任务：实时的特征检测，三维注册定位追踪，实时渲染。在具体毕业设计进行过程中，我打算按照以下流程进行相关知识的学习和毕业设计的实施。
- 高等数学、线性代数、概率论等数学知识的复习：在研究SLAM过程中需要掌握大量的数学知识，因此对这些已经学习过的课程知识进行适当的复习，重新熟悉是很有用的。具体包括旋转矩阵、四元数、欧拉角的相关知识，并在Eigen当中使用它们，以及李群和李代数，并通过Sophus操作它们，还有非线性优化，包括状态估计理论基础、最小二乘问题、梯度下降方法，并使用Ceres和g2o进行曲线拟合。
- OpenCV的学习：由于视觉SLAM需要用到相机作为传感器，因此对于针孔相机模型以及图像在计算机中的表达需要有一定了解，并利用OpenCV调取相机的内外参数。
- Linux操作系统的学习：由于SLAM开发需要使用Linux操做系统，掌握Linux是一个SLAM研究人员所必须的，各种程序库在Linux下的配置都非常便捷。因此，对于Linux操作系统的使用的学习是很有必要的。
- C 编程能力的强化：由于采用C 作为编码语言，需要使用C 标准库，一些编程技巧，此外还需要使用C 11标准的内容，因此对C 的强化学习是必不可少的。
- Linux环境的搭建：在虚拟机中安装Ubuntu 14.04，并安装Qt Creator。
- 创建使用特征法的视觉里程计：学习特征点的提取与匹配、对极几何约束的计算、PnP和ICP等，并用这些方法去估计两个图像之间的运动。搭建一个视觉里程计框架，实现其基本功能。学习光流和直接法的原理，利用g2o实现一个简单的RGBD直接法。
- 进行后端优化：主要进行Bundle Adjustment，包括基本的BA，以及如何利用稀疏性加速求解的过程。
- 对位姿图进行优化：位姿图是表达关键帧之间约束的一种更紧凑的形式，使用g2o和gtsam对一个位姿球进行优化。
- 进行回环检测：学习词袋法回环检测，使用dbow3书写字典训练程序和回环检测程序。
- 进行地图构建：使用RGBD的稠密地图构建，编写极线索搜索与块匹配程序，完成点云地图和八叉树地图的构建。
[1] 高翔. 视觉SLAM十四讲从理论到实践. 电子工业出版社，2017
[2] 赵越. 实时增强现实中运动目标及场景的跟踪注册关键问题研究[D]. 2015.
[3] 闫兴亚, 范瑶. 一种基于SLAM的增强现实跟踪注册方法[J]. 计算机与数字工程, 2017, 45(12):2470-2473.
[4] 严雷, 杨晓刚, 郭鸿飞, 陈靖. 结合图像识别的移动增强现实系统设计与应用[J]. 中国图象图形学报, 2016, 21(02):184-191.
[5] 闫兴亚, 范瑶. 一种基于改进SLAM的增强现实跟踪注册方法[J]. 计算机与数字工程, 2018, 46(12):2565-2569.
[6] 赵越, 李晶皎, 王爱侠, 杨丹. 基于IEKF-SLAM的未知场景增强现实跟踪注册算法[J]. 计算机工程, 2016, 42(01):272-277.
[7] 雍玖, 王阳萍, 雷晓妹. MEEM跟踪和改进ORB特征检测的三维注册方法[J/OL]. 计算机工程与应用:1-9[2019-02-19]. http://kns.cnki.net/kcms/detail/11.2127.tp.20190116.1740.019.html.
[8] 高翔, 安辉, 陈为, 潘志庚. 移动增强现实可视化综述[J]. 计算机辅助设计与图形学学报, 2018, 30(01):1-8.
[9] 赵洋, 刘国良, 田国会, 罗勇, 王梓任, 张威, 李军伟. 基于深度学习的视觉SLAM综述[J]. 机器人, 2017, 39(06):889-896.
[10] 王爱丽, 胡长雨, 韩闯. 基于ORB特征的复杂场景下的增强现实[J]. 哈尔滨理工大学学报, 2018, 23(02):23-28.
[11] 雍玖, 王阳萍, 雷晓妹. 基于改进KCF的跟踪注册方法[J]. 计算机工程与科学, 2018, 40(04):690-698.
[12] 王月, 张树生, 何卫平, 白晓亮. 基于模型的增强现实无标识三维注册追踪方法[J]. 上海交通大学学报, 2018, 52(01):83-89.
[13] Liang Zhao, Shoudong Huang, Gamini Dissanayake. Linear SLAM: Linearising the SLAM problems using submap joining[J]. Automatica,2019,100:.
[14] R. Mur-Artal, J. D. Tardós, "ORB-SLAM2: An open-source SLAM system for monocular stereo and RGB-D cameras", IEEE Trans. Robot., vol. 33, no. 5, pp. 1255-1262, Oct. 2017.
[15] Yuxiang Sun,Ming Liu,Max Q.-H. Meng. Motion removal for reliable RGB-D SLAM in dynamic environments[J]. Robotics and Autonomous Systems,2018,:.
剩余内容已隐藏，您需要先支付 10元 才能查看该篇文章全部内容！立即支付
