摘 要

三维人脸识别是人脸交互领域一个重要的研究方向。相比于二维人脸模型，三维人脸模型描述了人脸真实的三维结构，不会因光照和姿态等影响而丢失信息，更适合应用于实际的场景之中。本文主要探究在表情变化的情况下，如何从三维人脸数据中提取出鲁棒的特征。

本文在BosphorusDB人脸数据库上进行实验。首先对该库原始人脸点云进行人脸切割、规整、平滑和点云精简等操作，得到去噪和降维后的点云数据。接着提出了两种特征提取算法，并初步用程序实现了两种方法。其中深度图侧重分析人脸整体特征，测地线侧重分析人脸局部特征。本文对提取的特征用SVM分类器进行训练，对含有表情的数据集进行测试，分别取得了99.71%和98.84%的识别率。最后将两种特征融成一个特征向量，当测地线特征与深度图特征的融合比为1:9时，其识别准确率可达到100%。

本文的创新之处在于将提取的整体特征和局部特征在特征级按照合适比例进行融合，融合后算法的识别率均优于融合前两种算法各自的识别率。

关键词：三维人脸识别、表情不敏感、深度图、测地线、特征级融合

Abstract

3D face recognition is an important research direction in the field of face interaction. Compared with the two-dimensional face model, the 3D face model describes the real three-dimensional structure of the face, and does not lose information because of illumination and attitude, and is more suitable to be used in the actual scene. This paper mainly explores how to extract robust features from 3D face data under the condition of facial expression changes.

This paper carries out experiments on the BosphorusDB face database. First, face segmentation, regularization, smoothing and point cloud simplification are performed on the original face point cloud, and the point cloud data after denoising and dimensionality reduction are obtained. Then, two feature extraction algorithms are proposed, and two methods are initially implemented by program. The depth map focuses on analyzing the overall characteristics of the face, and the geodesic focuses on analyzing the local features of the face. In this paper, the SVM classifier is used to train the extracted features, and the expression datasets are tested. The recognition rates of 99.71% and 98.84% are achieved respectively. Finally, the two features are fused into a feature vector. When the fusion ratio of geodesic feature and depth map feature is 1:9, the recognition accuracy can reach 100%.

The innovation of this paper is to integrate the extracted whole feature and local feature at the appropriate proportion in the feature level. The recognition rate of the fusion algorithm is better than the recognition rate of the first two algorithms.

Key words: 3D face recognition, expression insensitivity, depth map, geodesic, feature level fusion

目 录

第1章 绪论 1

1.1 研究目的及意义 1

1.2 研究现状 2

1.3 设计主要目标任务 2

第2章 三维人脸识别相关理论 4

2.1 数据存储形式 4

2.2 人脸数据预处理 4

2.3 特征提取 4

2.4 特征训练 5

2.5 评价指标介绍 6

2.6 总体设计框图 6

第3章 数据预处理 7

3.1 人脸切割 7

3.2 数据规整 7

3.3 人脸数据的平滑 8

3.4 点云的精简 10

第4章 特征提取的关键技术 11

4.1 基于深度图的特征提取算法 11

4.1.1 深度图的获取 11

4.1.2 深度图的特征提取 12

4.2 基于测地线的特征提取算法 14

4.2.1 测地线的数学原理 14

4.2.2 测地线的计算方案 15

4.2.3 特征点的提取 17

4.2.4 WKS特征的提取 17

4.3 特征融合 18

第5章 实验测试及结果 19

5.1 基于深度图的特征提取算法实验 19

5.2 基于测地线的特征提取算法实验 21

5.3 特征融合测试实验 23

第6章 小结 24

6.1 本文的主要工作 24

6.2 本文创新点 24

6.3 未来工作期望 25

参考文献 26

附录 29

附录A主要程序代码 29

致谢 43

绪论

研究目的及意义

安全保障系统对于维持社会的稳定发挥着重要的作用。身份验证是安全保障系统中至关重要的一个环节。由于传统的基于密码的身份验证过程很容易被破解，于是生物特征识别技术成为一种有效的替代方案。计算机通过提取人的生物特征就可以对该人进行身份验证。但是，生物特征识别技术也存在一些缺陷。例如，虹膜识别的结果虽然十分精确，但是其提取的成本很高，并且不为人群所接受。指纹、掌纹识别系统可信度高，其操作过程对人不具有侵入性，但是却不适用于一些不配合的人群。其中，人脸识别技术因其特征提取方式自然、友好、非侵犯性、对用户干扰少^[1]等特点而受到国内学者的密切关注。并且人脸识别技术融合了计算机和生理学等多学科技术，因而具备较高的学术价值。

近些年来，2D（二维）人脸识别技术发展迅速，其中很多自动人脸识别系统的性能都达到90%以上。但是许多2D的人脸识别方法都是在合适的光照条件下，利用正面的中性人脸进行实验。当光照、姿势和表情发生变化时，其识别率下降很快。主要原因在于，2D图像毕竟只是3D（三维）图像在特定方向的投影，存在大量信息损失，无法完全反映出人脸真实的空间模型。因此当光照、姿势和表情发生变化时，其信息量损失较大，使识别的准确率下降，进而限制了这类方法在实际环境下的应用和推广。

由于2D图像的上述缺陷，3D人脸模型渐渐走进许多研究者的视野。3D人脸模型是人脸在自然状态下的几何结构模型，包含了人脸曲面轮廓以及深度信息，能够准确描述人脸的空间结构。与二维人脸模型相比，其相对真实人脸的信息的损失较少，因而可以获取更加精准的特征信息。三维人脸模型具有以下特点：首先，人脸信息不会由于姿态的变化而造成损失；其次，光照的变化基本不会改变三维人脸数据；而且由于三维人脸模型只反映人脸结构信息，所以化妆对识别的影响不大。因此，三维人脸不易受到姿态和光照的影响^[1]，研究三维人脸识别对提高实际环境下的人脸识别准确率有着重要的意义。

虽然3D人脸模型存在上述优势，但是3D人脸模型仍然对表情变化敏感。将含表情的数据集加入到中性人脸数据集中，其识别率会下降很多。由于在真实的应用场景中，个体并不会限制它们的表情。因此，要保证人脸识别系统在真实环境下的有效性，人脸识别系统必须能够处理多种人脸的表情变化。本文主要研究的是如何弱化表情的影响，从3D模型中提取出对表情鲁棒的特征。

研究现状

1989年，3D人脸识别系统首次被Cartoux实现。在20世纪90年代，还只是有很少的研究中使用3D人脸模型。这主要是由于当时3D成像技术发展不是很成熟，3D人脸数据很难采集，3D人脸识别技术发展缓慢。近年来，3D人脸采集设备技术得到了迅速发展，3D数据的获取速度提高，代价降低，使得3D模型变得越来越受欢迎，也让越来越多的3D数据库构建起来。鉴于2D图像的缺陷，许多研究者也纷纷将视线转移到3D人脸识别上来。

到了21世纪，3D人脸识别研究进展飞速，已经使得它成为人脸识别方向的研究热点，吸引了更多的国内外研究机构及研究人员投入其中。经过国内外学者不懈的探索研究，目前已经存在很多可行的3D人脸识别方法。目前主要有基于曲面的方法、基于统计的方法和基于模型的方法。2004年，Xu等^[2]通过对比试验3D人脸深度图方法和2D人脸灰度图方法，发现2D灰度图比3D数据更容易受到姿态、光照等影响。王成章等^[3]在形变模型的基础上加以改进，来对3D人脸进行建模。常朋朋^[4]在脸部半刚性区域提取面部轮廓线，用来进行人脸的匹配，实验证明半刚性区域对表情具有鲁棒性。王雪峤^[5]提出了一种基于形变模型的中性人脸估计图，对人脸识别中的表情具有鲁棒性。田文君^[6]针对深度图数据，用局部投影算法和主成分分析算法进行特征提取。Drira.H等^[7]用从鼻尖发出的径向曲线表示面部，并使用这些曲线的弹性形状来分析面部曲面。Aubry M^[8]用WKS作为形状描述符来表征3D人脸形状。Belahcene M等^[9]建立PCA EFM模型来对人脸兴趣区域（鼻子、嘴巴、左右眼）进行处理，在CASIA库上取得较好的结果。Kim D等^[10]利用3D增强技术合成了多种不同的面部表情，用深度卷积神经网络来对增广之后的数据集进行训练和识别，其识别率达到了当前最高的水平。刘蓉^[11]采用LBP和SVM相结合的方法，取得了93.09%的识别率。李峰^[12]采用提取多条基于鼻尖点的等距测地线条纹的方法。吴子扬^[13]在压缩感知理论的基础上，给出了3D人脸稀疏重建方法。陈志轩^[14]基于弹性模型匹配和卷积神经网络匹配，采用测地线与Gabor小波提取相结合的方法。Guo Y等^[15]给出了一种利用局部特征来实现形状匹配的算法。Booth J^[16]给出了一个快速用于在任意图像中拟合3DMM的方法。Masi I^[17]提出一种用深度学习来增广3D人脸数据集的方法。Li Y等^[18]提取三种类型的面部曲线，将他们在特征水平上与适当的权重融合并使用迭代最近点算法进行匹配

设计主要目标任务

本文主要内容以三维人脸的表情不敏感特征提取为核心，挖掘出三维人脸数据中稳定、鲁棒、表情不敏感以及有辨别性的特征，以提高三维人脸识别算法性能，初步用程序实现出一种从三维人脸中提取表情不敏感特征的算法。

本论文的总体目标是要求所设计的算法能够自动提取三维人脸中稳定、鲁棒、有辨识性、对表情不敏感的脸部特征，并且用程序将该算法实现出来。选取相应的数据库，对该算法进行测试，要求在测试阶段应达到以下基本要求：

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：