摘 要

随着计算机视觉的蓬勃发展和双目立体视觉的广泛应用，研究人员需要大量的双目数据进行实验，如何获取双目数据集，成为现在的关注热点之一。但是在现在的互联网资源中，双目数据集非常稀少，而且主要用于自动驾驶领域，很多研究因为缺乏合适的数据集而无法推进。与此同时，我们观察到在机器人仿真领域，近期作品倾向于关注基于真实图像的模拟环境，Gibson环境就是其中之一。鉴于其与真实空间非常相近，由此可以基于Gibson环境来进行双目视图的生成。这样既可以利用已有数据集资源，又不需要昂贵的双目相机设备。

针对以上问题，本文在研究和总结前人成果的基础上，完成如下工作：

1、结合ROS总体框架，对机器人代理进行研究。分析URDF单目模型特点，并实现URDF双目模型，通过RVIZ可视化工具实现机器人代理的可视化，并由此得到双目模型建立的合理性。

2、基于Gibson环境，研究双目视图的生成方法。在剖析Gibson环境特点、Husky导航环境的构建、机器人代理运行机理的基础上，对双目位姿的获取、双目相机的实现、UI组件的创建和双目视图的渲染等方面进行改进，以生成双目视图。

3、对比分析单目和双目的实验结果，并将双目视图应用到裸眼3D上。从相机位姿、三维模型下的视图的角度，对双目视图的生成进行实验验证。实验结果表明，双目视图的生成是成功的，本文提出的基于Gibson环境的双目视图生成方法是合理并且有效的。将双目视图应用到裸眼3D上，也可以获得良好的效果。

关键词：双目视图；Gibson环境；机器人代理；相机位姿

Abstract

With the rapid development of computer vision and the wide application of binocular stereo vision, researchers need a large number of binocular data for experiments. How to obtain binocular datasets, has become one of the current hotspots. However, in the current Internet resources, binocular datasets are very rare, and are mainly used in the domain of autonomous driving. Many researches cannot be carried out due to the lack of appropriate datasets. At the same time, we observed that in the field of robot simulation, recent works tend to focus on the simulation environment based on real images, and Gibson environment is one of them. Since it is very similar to real space, it is suggested that binocular views can be generated based on Gibson environment. This allows the use of existing datasets without the need for expensive binocular camera equipment.

To solve these problems, this paper summarizes the basic researches and previous achievements on the completion of the following work:

1、Combine the overall framework of ROS to study robot agents. I analyzed the features of the URDF monocular model, and realized the URDF binocular model. I used the RVIZ visualization tool to realize the visualization of the robot agent. And then I got the rationality of the establishment of the binocular model after that.

2、Do researches on the method of the generation of binocular views based on the Gibson environment. On the basis of analyzing the characteristics of Gibson environment, the construction of Husky navigation environment, and the mechanism of robot agent operation, make improvement in the domain of getting binocular position, realizing binocular camera, creating UI components and rendering binocular views to generate a binocular view.

3、Compare and analyze the monocular and binocular experimental results, and apply the binocular view to the naked eye 3D. Experiments for verification were performed on the generation of binocular views from the perspective of camera poses, and views under the 3D models. The experimental results show that the generation of binocular view is successful. The method of generating binocular view based on Gibson environment is reasonable and effective. Applying the binocular view to the naked eye 3D can also achieve good results.

Key Words：binocular view；Gibson environment；robot agent；camera pose

目 录

第1章 绪论 1

1.1 研究背景与意义 1

1.2 国内外研究现状 1

1.3 本文研究内容 3

1.4 本文组织结构 3

第2章 基于ROS的机器人代理的研究 5

2.1 ROS总体框架 5

2.1.1 文件系统级 5

2.1.2 计算图级 6

2.1.3 开源社区级 7

2.2 Husky机器人模型的研究 7

2.2.1 URDF模型 7

2.2.2 单目模型的分析及改进思路 8

2.2.3 基于单目模型的双目模型的构建 8

2.3 机器人代理的可视化方法 9

2.3.1 RVIZ可视化工具 9

2.3.2 可视化工作流程 9

2.3.3 数据可视化及结果分析 10

第3章 Gibson环境下视图生成方法研究 15

3.1 Gibson环境 15

3.1.1 实验环境 15

3.1.2 Gibson特点 15

3.2 基于Gibson环境的自主导航的研究 16

3.2.1 配置信息 16

3.2.2 Husky导航环境的构建 18

3.2.3 机器人代理的运行 18

3.3 单目视图到双目视图的改进研究 19

3.3.1 双目位姿的获取方法 19

3.3.2 双目相机的实现方法 20

3.3.3 UI组件的创建方法 20

3.3.4双目视图的渲染方法 21

第4章 实验结果及分析 22

4.1 相机位姿 22

4.1.1 相机位姿的表现形式 22

4.1.2 单目相机位姿结果及分析 23

4.1.3 双目相机位姿结果及分析 24

4.1.4 实验对比分析 26

4.2 三维模型下的视图效果 27

4.2.1 单目视图效果及分析 27

4.2.2 双目视图效果及分析 28

4.2.3 实验对比分析 28

4.3 基于双目视图的裸眼3D应用 29

第5章 总结与展望 32

5.1 全文总结 32

5.2 下一步工作 32

参考文献 33

致 谢 34

第1章 绪论

1.1 研究背景与意义

人的大脑分配了大量的资源用于视觉，看，是人类感知外界最直接的途径。随着科技的发展，人类已经不止满足于用自己的眼睛看世界，但由于人类自身生理的局限性，有些东西是光靠人眼无法看到，所以人类开始关注如何教会机器去“看”。计算机视觉就是这样的一门学科，用计算机和摄像机来代替人眼对目标进行识别、跟踪和测量等，并做进一步的图像处理，用计算机来把它们处理成为更适合人眼观察或仪器检测的图像。

计算机视觉技术“渗透”到了我们生活的各个方面。在很短的时间内，计算机视觉已遍地开花，比如地铁的安防摄像头、火车站的人脸识别闸机、智能手机的人脸识别解锁等都是计算机视觉的在生活中的应用。随着计算机视觉的蓬勃发展，其重要分支之一的双目立体视觉也得到了广泛的关注。

双目立体视觉是获得图像深度信息的重要方式，即用不同位置的两台摄像机来拍摄同一幅场景，通过计算空间中的点在两幅不同角度的图像中的视差以及摄像机的位姿信息，可计算获得该点的三维坐标信息^[14]。双目立体视觉技术通过其直接模拟生物视觉以处理三维客观世界的方式，方法简单可靠，且灵活性大，应用范围广泛，因而得到了广泛的关注和重视，对于计算机视觉来说具有意义重大。为推动双目立体视觉的繁荣发展，研究人员需要大量的双目数据进行实验，如何获取双目数据集，成为现在的关注热点之一。

在互联网的资源中，RGB-D数据集很多，但是计算机视觉领域的双目数据集却非常稀少，而且主要用于自动驾驶领域，很多实验因为缺乏合适的数据集而无法推进。与此同时，我们观察到在机器人仿真领域，近期作品倾向于关注基于真实图像的模拟环境，Gibson环境就是其中之一。Gibson环境的输入是RGB-D全景集，且跟真实空间非常相近，还能够部署在现实世界中训练的模型，由此想到可以在Gibson环境中进行双目视图的生成，以采集双目数据集。这样既可以利用已有数据集资源，又不需要昂贵的双目相机设备。

1.2 国内外研究现状

国外的双目立体视觉多应用于机器人导航、微操作系统的参数检测、三维测量和虚拟现实等方面，研究状况如下：

（1）GEE T, DELMAS P等人开发了一个可以实时生成深度图的轻量级无人机专用的双目立体系统。此系统可以在一系列同步的运动相机进行实时拍摄的视图流中，基于双目立体视觉技术，计算生成一系列带有深度信息的图像^[7]。

（2）SALEEM N H，KLETTE R等人对双目立体视觉的检测精度进行了研究。面对不同的路况和照明条件，对单、双目算法的优劣进行了比较，实验表明，在城市道路上进行模拟时，基于双目视觉的检测算法的精确度更高^[5]。

（3）COMLEKCILER I T, GUNES S等人提出了基于双目立体视觉的三维颌骨复位技术。借助于一款基于逐像素立体匹配算法的软件，可以实时地跟踪患者颌骨的位置，以引导正颌手术的正常进行。测量误差能满足临床手术的使用要求^[4]。

（4）DI K C, PENG M等人研制了宽基线立体视觉系统，使得“探测者”号可以在火星上进行精准定位与导航。系统使用一个相机在“探测者”号上的不同位置来拍摄图像对，进而采用非线性优化算法、最大似然概率法和高效的立体搜索得到亚像素精度级别的视差，再据此计算出图像对中各个点的三维坐标，以实现实时的火星表面地形的三维重建^[9]。

（5）ROGISTER P, BENOSMAN R等人提出了一种新的基于异步视觉时间的立体匹配算法。此算法可以过滤掉错误的匹配，虽然传感器的空间分辨率低，但是依旧可以准确地重建运动物体的深度信息^[10]。

（6）JUNG B, SUNKHATME G S等人基于双目立体视觉技术研制了移动机器人，此机器人可以感知外界物体的运动状况，然后根据接受到的环境信息来进行动态场景的处理^[11]。

国内在双目立体视觉的研究中也取得了很好的成果：

（1）汪小愉等人针对双目图像数据集匮乏，深度信息数据集样本有限的问题，进行了双目视觉原理、图像数据集架构、样本特征等方面的研究，基于搭建的双目视觉采集系统，建立了一套基于双目视觉的图像深度信息的数据集，并利用常用的三种立体匹配算法评估了该数据集的可行性^[3]。

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：