摘 要

三维传感技术自从在苹果的Face ID上得到应用以来，就成为各大手机制造商所研究并应用的技术。三维传感技术基于光学三维传感原理，早先就已被应用于机器人视觉，汽车安全系统，虚拟现实，工业测量等方方面面，如今随着技术的进步，在手机中的应用也越来越成熟，其在手机中的应用是手机智能化发展的必然趋势。

本文主要研究3D传感技术在手机中关键技术的应用，即物体表面轮廓的三维测量技术在手机中的应用，目前主要是人脸识别与三维测距技术；主要研究工作如下：

（1）研究三维传感技术在手机中的应用的国内外现状，主要是以苹果的FaceID技术为代表，以及华为在三维传感技术上的应用与苹果的对比。

（2）研究三维传感技术在手机中的关键技术的应用以及三维传感技术的基本原理，并且对比其中关键技术的优缺点，这也是本次研究的主要内容和重点。

（3）对其中关键技术进行功能设计与仿真实现，本文采用3dsmax模拟目标聚光灯、目标摄像机等系统装置以及被测三维物体，摄取强度图像；研究标定方法用以标定系统测量过程中所需的各项参数，并对此标定方法进行仿真验证。

（4）使用Matlab软件对图像进行处理，并编写程序进行仿真，获取三维物体高度信息，重构三维立体图。

关键词：三维传感技术；FaceID；3dsmax；Matlab

Abstract

3D sensing technology has become a hot topic since the advent of Apple's iPhone X, which provides 3D stereo image sensing technology for Face ID’s face unlocking. 3D vision sensor has a wide range of applications, such as multimedia mobile phones, network camera, digital camera, robot vision, automobile safety system, biomedicine, human-machine interface, virtual reality, industrial detection, wireless remote sensing, display. Micromirror technology, astronomical observation, ocean autonomous navigation and so on. These applications in different directions are based on 3D vision image sensing technology.

This paper mainly studies the application of 3D sensing technology with the key technology in mobile phone, which is the application of three-dimensional measurement technology of object surface profile in mobile phone. At present, the main research work is face recognition and three-dimensional ranging technology. The main research work is as follows:

(1) To study the application of three-dimensional sensing technology in mobile phones at home and abroad, mainly represented by Apple's FaceID technology, and Huawei's application in three-dimensional sensing technology compared with Apple's.

(2) To study the application of three-dimensional sensing technology with the key technology in mobile phones and the basic principle of three-dimensional sensing technology, and to compare the advantages and disadvantages of the key technologies, which is also the main content and focus of this research.

(3) Functional design and Simulation of key technologies are carried out. In this paper, 3dsmax virtual projector, camera and other systematic equipment as well as the measured scenery and measured environment are used to capture intensity images. Calibration methods are studied to calibrate the parameters needed in the measured process of the system, and simulation and verification of this calibration method is carried out.

(4) The image is processed by using the software of matlab, and the program is written to simulate. Then we can obtain the height information of the three-dimensional object, and reconstruct the three-dimensional stereogram.

Key words: 3-D sensing technology; Face ID; 3dsmax; MATLAB

目录

第1章 绪论 1

1.1 研究目的及意义 1

1.2国内外研究现状 2

1.2.1 苹果的FaceID技术 2

1.2.2 华为手机3D深度传感系统 4

1.2.3 3D视觉传感器产业现状 4

1.3 研究内容 6

1.4 本章小结 7

第2章 VCSEL原理研究 8

2.1 VCSEL芯片 8

2.2 VCSEL基本工作原理研究 8

2.3 VCSEL工艺流程分析 10

2.4 本章总结 10

第3章 光学三维传感技术原理研究 12

3.1 光学三维传感技术 12

3.2 主动测距 12

3.2.1 结构光测量法 13

3.2.2 飞行时间法 15

3.3 被动测距 16

3.3.1 单目视觉法 16

3.3.2 双目视觉法 17

3.3.3 多目视觉法 18

3.5 技术方案对比 18

3.6 本章总结 20

第4章 仿真实验设计 21

4.1 系统仿真方案 21

4.1.1 聚光灯的设置 22

4.2.2 摄像机的模拟 23

4.2.3 三维被测物体的模拟 23

4.3 MATLAB三维数据的计算与表面重构 24

4.4 MATLAB仿真分析 25

4.4 本章总结 28

第五章 总结与展望 30

参考文献 31

致 谢 33

第1章 绪论

1.1 研究目的及意义

三维传感技术在手机上的应用首先是在苹果推出的iPhone X中的Face ID上实现的，很快便得到业内很多研究人员的重视。随着三维传感技术的发展，智能三维视觉技术开始广泛被各大智能手机制造商应用于手机中，对比普通二维成像技术，首先二维数据就已经存在对三维物体数据特征丢失的情况，这表示二维成像技术不支持使用从所获取的二维信息来完整重建三维物体，自然不具有人脸识别和物体测距技术。而三维传感可获取物体的完整的深度信息，三维传感系统通常由多个摄像镜头和深度传感器，其应用的技术大都是基于光学三维传感原理，从而实现对物体三维信息的实时采集，智能装置可以依据三维信息恢复三维物体，并实现后续的智能交互。

以上看来，三维传感技术确实优势明显，当然三维传感还可以用于实时监测，已确定捕获的三维信息是照片，视频还是软件模拟，并且面部识别安全性更高；其次在当前看重大数据的时代，三维传感技术的应用可以生成大量的三维图像数据，这些数据可以用于未来对于大数据分析和总结，具有很大的工业应用价值。

随着三维传感技术在信息领域的研究地位逐渐上升，且由于其在机器视觉、生物医学图像、工业测量、虚拟现实等领域早已得到广泛的应用，而研究其尤其是在手机中的关键技术的应用意义尤为重大，三维传感技术在手机上的应用是手机智能化的必然趋势。

1.2国内外研究现状

1.2.1 苹果的Face ID技术

苹果最初的人脸识别技术是在一个名为CIDetector的程序中构建的，在iOS 7中被用于Photo App的“People”相簿，但是尚未用于面部识别解锁。后来随着「深度学习」（Deep Learning）的出现，计算机图像处理技术的发展极大地提高了人脸识别的准确性。于是苹果重新检视人脸识别的方向。但是，手机由于内存小，存储空间有限，且手机运算资源亦有限，因此深度学习并不适用与手机。一般的做法是在云端对深度学习进行处理，苹果也提供iCloud云端服务。但是苹果专注于用户的个人隐私，不会将iCloud服务器用于计算机图像计算。因此，他们必须开发深度学习技术，使用户能够在iPhone上运行，但首要条件是，iPhone要拥有足够计算能力，在相对较短的时间内处理繁多的相片数据集，而又不会过度使用电源使手机发热。

当苹果于2014年开始应用深度学习时，深度卷积神经网络暂时只能辨识物体，那时使用OverFeat技术，以及神经网路用于多尺度的输入预测。例如图片切割成32×32像素，并生成适当大小的对应图片，例如20×20，苹果把不同的图制成图像金字塔。识别输入数据是否包含面部信息，然后对输入的面部信息执行预测边界以实现面部识别。在有效的图像分割过程中，面部图像会成为大型的图像金字塔。人脸识别系统开始穿过金字塔的每一层，收集候选图片以供检测。然后使用“后处理模块”进行处理和比较原始图像，以确认输入的面部信息是否正确。

苹果进一步改进了这种计算方式，以类似于“老师和学生”的形式运行，“老师”是一个更复杂的结构，去训练“学生”（简单的3×3卷积与级联结构）来创建更准确和复杂的面部网络模型。因此，Face ID 需要不断学习面部模型，以增强对用户脸部的深入识别。人脸识别还使用到视觉框架（Vision Framework）来收集与区分来自用户不同角度、大小（缩放比例）、颜色的面部数据。苹果使用部分二次采样解码技术，还有自动平铺技术，使非通用长宽比的图像能够执行高效的图像运算操作。

最后，苹果需要解决的问题是处理器与内置存储使用问题。FaceID通过适当方法的将图像到分配神经网络的中间层，将多个层放在同一缓冲区中。此外，在图像金字塔上共享相同的权重与参数，以降低存储容量消耗。苹果还可以动态地将网络的图像分辨率调整为输入图像的分辨率，减少处理的数量。基于以上的数据处理，再加上高效能的A11仿生处理器，iPhone X在短时间内完成，直接在不经互联网的手机上完成的深度算法，在用户没有意识的情况下，每秒处理数百万个浮点神经网络，进行极为准确的人脸识别，这使Face ID能够完全取代Touch ID成为iPhone上可用于刷脸支付等功能的生物识别技术。

图1.1 Face ID模块

目前Face ID工作原理如下：当3D传感器模块运行时，点阵投影仪将数以万计的红外光点投射到手机面对的物体，然后红外摄像机传感器接收物体反射的红外光，这将创建包含物体距离和高度信息的物体表面三维深度图。最终这些三维数据将被传送到A11处理器进行人脸识别和验证。如果最终得到的信息与用户事先输入的信息匹配，iPhone X就可以完成解锁。Face ID示意图如图1-1^[1]所示，FacdID的工作框图如图表一。

图1.2 FaceID工作流程

1.2.2 华为手机3D深度传感系统

在中国两大智能手机制造商小米和OPPO之后，华为在其最新的旗舰手机Mate 20 Pro中采用了三维深度传感系统。与“OPPO和小米在三维传感系统性能上做了一些妥协”不同，华为依靠大面积阵列传感器和图案化的晶圆级光学元件（WLO），成为最接近苹果的三维传感解决方案（取决于高动态范围和DOE）的制造商。华为三维深度感应系统在发射端使用红外点阵投影仪（集成在摄像头模块中），在接收端使用全局快门（GS）近红外（IR）摄像头。华为Mate 20 Pro手机三维传感系统中集成了很多三维传感模块，例如红外镜头、泛光感应元件、点阵投影器等。华为的三维深度传感系统不仅适用于3D人脸解锁，而且更重要的是支持移动安全支付。

1.2.3 3D视觉传感器产业现状

视觉传感器出现在20世纪50年代后期并且发展非常迅速，是三维传感中非常重要的一环。视觉传感器一开始功能有限，只能处理简单的积木搭建的模型，后来才逐渐开始处理现实世界的简单的三维对象，如椅子、台灯等，发展至今已能够处理复杂三维物体。20世纪70年代以后，有实用性三维视觉系统开始得到应用，如精密仪器组装，易拉罐的检测等。此外，随着该产业的发展，人工智能、心理学、计算机图形学和图形处理领域出现了一些先进的研究思想。

机器视觉包括三个过程：图像采集、图像处理和图像理解。图像采集通过视觉传感器将三维立体图像转换为电信号。视觉传感器的核心部件是CCD，如图1-2^[2]但是CCD是后发展起来的，摄像管才是早期产品，目前的CCD已经能做到自动聚焦。

在CCD模块中，大多数功能都在相机的电路板上执行。当需要修改应用程序时，研究人员可以修改线路板而无需重新设计图像传感器芯片。在CMOS图像传感器中，对每个像素执行将电荷转换为电压的操作。CMOS图像传感器芯片将电荷转换为像素级的电压，并且大部分的功能都集成在芯片中。这样，所有功能都可以通过单个电源进行操作，并且可以根据感兴趣的区域或窗口打开并灵活地读出。 通常，CCD采用NMOS技术并通过特定工艺实现性能，例如双层多晶硅、抗晕光等。而CMOS芯片则是基于集成电路的标准CMOS工艺技术生产，然后根据客户要求添加成像功能。

图1.3 CCD芯片

此外苹果Face ID技术以VCSEL激光器为核心 ，VCSEL全名为垂直共振腔表面放射激光，如图1-3^[3]所示，简称为面射型激光，是一种在垂直表面上发射光线的新型激光器，是光纤通信中使用的光源之一。VCSEL芯片市场可按产品类型分为单模VCSEL和多模VCSEL，它们正广泛用于3D成像和数据通信。多模VCSEL可以提供更好的调制效果和更高的传输速率，使其比单模VCSEL芯片更受欢迎，而单模VCSEL通常有其它简单的传感应用，如打印和条形码。VCSEL由于其微小的尺寸、可靠性高、功率消耗低以及制造成本低而被广泛使用。而汽车行业电气系统应用VCSEL，正推动整个VCSEL的市场增长。

图1.4 VCSEL芯片

纳米孔径垂直腔面发射激光器即VCSEL的技术前景从超高密度近场光学数据存储到显微镜和超高分辨率成像的改进，到单分子操作、荧光和光谱研究，以及作为未来的紧凑光源和纳米光子集成电路。由于VCSEL模块即将医用与手机摄像机，其具有重要的研究价值。

1.3 研究内容

本文主要研究三维传感技术在手机的关键技术的应用以及所采用的的技术原理，进而对其中结构光测量方案进行仿真建模，以了解其关键技术的运用。

全文分为章节，具体叙述安排如下：

第一章：绪论。本章简单讲述了手机三维传感技术的背景和现状，和研究意义。

第二章：VCSEL原理研究。本章对手机三维传感系统中的核心组件VCSEL芯片的工作原理和制作工艺进行研究。

第三章：光学三维测量技术原理研究。本章研究三维传感技术的基本原理，并研究当前手机中主要采用的光学三维测量技术的优缺点。

第四章：仿真实验设计。在本章中，3dsmax软件将用于模拟手机三维传感系统，并从中获得三维物体的强度图像；然后使用MATLAB软件采用光栅相移法方案进行编程，重建强度图像的三维立体图。

第五章：总结与展望。本章对本次论文研究进行总结并展望未来的发展情况。

1.4 本章小结

本章主要对手机三维传感系统简单介绍，并简述研究其技术的目的和意义，以及国内外手机三维传感技术的发展现状和3D视觉传感器发展现状，并安排本次论文之后所要进行的工作。

第2章 VCSEL原理研究

2.1 VCSEL研究目的

VCSEL是一种激光发射器，学名为垂直腔面发射激光器，它有别于常见的LED发光二极管和激光二极管，其体积较小、成本低廉、容易集成等优点，目前广泛应用于光通信。提到VCSEL，同样也要介绍边发射激光器（EEL），VCSEL顾名思义，其发射的激光是垂直于半导体芯片表面，如图2-1所示。

由于在苹果的Face ID三维传感系统中属于核心组件，在iPhone X机型上应用于三维传感摄像头，作为红外光源，从此就成为手机三维感测技术中的最常应用的佼佼者，因此研究VCSEL的工作原理以及制作工艺对于研究手机三维传感系统有重大帮助。

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：