摘 要

深度检测是计算机视觉中的一个很重要的应用。其中，TOF技术(time of flight)，即飞行时间，是目前主流的解决方案之一，其在短距离范围内提供了精度较高的深度数据。但由于在现实中难以真实数据，当希望用深度学习去提高TOF测量精度时缺少标签。因此通过建立仿真数据集，可以完成深度学习网络的训练进行实验。

本文系统研究了TOF多径干扰仿真数据集的生成方法，完成了一套基于瞬态渲染的TOF仿真系统， 在此课题中，首先研究瞬态渲染的理论知识，通过分析瞬态渲染程序的输入设定和输出数据，在瞬态渲染程序中根据实际的相机输入相应的参数。然后研究了多径干扰下的相机模型，通过瞬态渲染得到的数据模拟TOF相机接受和处理信号的过程。最后通过相应的相机模型得到测量的深度图和红外灰度图。

最后生成了120个场景数据包含深度图、真实数据图和外红灰度图作为数据集，整个训练集的平均像素误差为2.8062425，将生成的数据集通过tof-mpi-remove模型进行训练。采用110个数据做训练集，10个数据做测试集，最后结果表明本仿真数据集可以用于深度学习的训练，通过网络进行训练后在测试集上深度误差由原来的3.0196905cm降低至1.6671379cm。

关键词：飞行时间；多径效应；瞬态渲染

Abstract

Depth estimation is of great significance in computer vision applications. TOF (Time of Flight) is one of the mainstream methods in depth detection, which provides high precision depth data in a close range. However, due to the difficulty of getting ground truth in reality, there is a lack of labels when using deep learning to improve the accuracy of TOF measurement. Therefore, by establishing the simulation data set, we can practice on the deep learning network training.

This paper systematically studies the generation of TOF multipath interference simulation data set and completes a set of TOF simulation system based on transient rendering. In this topic, firstly, the theoretical knowledge of transient rendering is introduced. By analyzing the input settings and output data of the transient rendering program, the related parameters are input according to the realistic camera in the transient rendering program. Then the study of camera model in multipath interference, and how to simulate the receiving and processing signals with TOF camera by the data obtained by transient rendering. Finally, the measured depth map and grayscale infrared image are obtained through the related camera model.

Finally, 120 scenes are generated as data set including depth map, ground truth and grayscale infrared image, and then the data set is trained by tof-mpi-remove model. 110 data are used as training set and 10 data as evaluate set. The result shows that the simulation data set is well trained by deep learning network to reduce depth error.

Key words: TOF; Multipath Interfere; Transient Rendering

目录

摘要 I

Abstract II

第1章 绪论 1

1.1 研究目的及意义 1

1.2 国内外研究现状 1

1.3 论文主要内容和结构安排 2

第2章 TOF原理及相机模型 3

2.1 TOF历史发展 3

2.2 TOF基本原理 4

2.3 TOF相机模型 5

2.4 多径效应的影响 6

2.5 本章小结 7

第3章 瞬态渲染 8

3.1瞬态渲染发展及相关研究 8

3.2 瞬态渲染基本原理 8

3.2.1 瞬态渲染中的路径积分 8

3.2.2 瞬态渲染中的时延问题 9

3.2.3 瞬态渲染中的数值积分 10

3.2.4 瞬态渲染中的采样问题 10

3.3 本章小结 11

第4章 实验设计与结果分析 12

4.1 系统方案设计 12

4.2 实验相机模型选择 13

4.3 实验流程、结果与分析 14

4.4 本章小结 16

第5章 总结与展望 17

5.1 论文工作总结 17

5.2 进一步研究及展望 17

参考文献 19

致谢 21

第1章 绪论

1.1 研究目的及意义

近几年来，基于Time-of-Fight(TOF)的RGB-D相机模块在移动设备中得到了大量的应用。其提供了一个可靠的深度数据测量的方式。相对比与结构光相机或是双目成像系统，TOF相机在短距离范围内提供了精度更高的深度数据。

TOF设备通过向场景发射调制的红外光，并在传感器上与不同的相移计算测量，来计算可几何场景的深度。然而，ToF设备受到多路径干扰(multipath interference，MPI)的影响：单个像素点信号由多个光反射的路径信号组成，这会在获取深度信息时造成误差，从而降低TOF相机的适用范围^[1]。为了尽可能消除MPI效应的影响，以前的大多数工作是利用额外的措施增加获取信号的准确性，例如将探测光信号编码或使用不同相移的多个调制频率，由此可以消除多径效应带来的误差，但是这需要硬件更改(例如，修改内置的红外光发射器，使用可以接收多个调制频率的传感器)，或者使用同一标准的ToF相机的多次扫描^[2][3][4]。

由于近几年深度学习的快速发展^[5][6][7][8]，促使越来越多的研究人员想通过深度学习的方式来解决多径效应。然而现有研究并不存在具有MPI的深度及其对应的真实有效值的现实ToF数据集，且使用目前的设备不可能获得这样的数据集。为了解决缺少数据集的问题，本设计使用现有的基于物理的瞬态渲染程序^[9][10]对三维场景进行渲染，生成光的传输数据，并使用ToF的相机模型对原始数据进行计算^[11]。利用该流程，可以将MPI引入到模拟深度估计中，并可以将其与参考深度进行比较，进而可以开展深度学习的研究来减少MPI的影响。