摘 要

在非约束环境下，人脸姿态多样性，局部遮挡，光照变化等因素的影响，给准确地完成人脸检测和校准任务带来了巨大的挑战。最近的研究结果表明，深度学习能够在这两项任务上表现出非凡的性能。为了解决这个问题，本文使用深度多任务级联卷积数据网络对人脸检测与校准进行联合学习与训练来提高检测器的性能，此外，在训练过程中，使用online hard samle mining的策略优化网络的计算速度。

测试结果表明，该网络对局部遮挡，光照变化，倾斜和转角具有良好的鲁棒性。

关键词：深度学习；人脸检测；卷积神经网

Abstract

In the unconstrained environment, pose diversity, local occlusion and illumination change pose great challenges to the task of face detection and calibration. Recent studies show that deep learning can perform extraordinary performance on these two tasks. In order to solve this problem, this paper use the depth of multi task concatenated convolutional data networks for joint learning and training for face detection and calibration to improve the performance of the detector, in addition, in the training process, calculation speed of network optimization strategy using online hard samle mining.

Tests show that this network has high accuracy and robustness.

Key Words：deep learning；face detection；convolutional neural network

目录

第1章 绪论 1

1.1人脸检测研究的背景、目的及意义 1

1.2 国内外研究现状 2

1.3 人脸数据集 3

1.4 主要内容和章节安排 3

2章 基于深度学习的人脸检测 5

2.1深度学习背景 5

2.2 深度卷积神经网络 6

2.2.1 CNN的特点 6

2.2.2 池化操作 8

2.3人脸检测基本流程 10

2.3.1滑动窗口与图像金字塔 10

2.3.2 IoU(Intersection over Union)交叠率 11

2.3.3 NMS(none-maxinum suppression) 非极大值抑制 12

2.4 人脸检测算法的评测——混淆矩阵 13

第3章 人脸检测—基于MTCNN的实现 16

3.1 总体框架 16

3.2 网络的训练 17

3.3 训练数据集 19

3.3算法实现平台 19

第4章 人脸检测器结果评价 21

第5章 结论 26

参考文献 27

致谢 29

第1章 绪论

1.1人脸检测研究的背景、目的及意义

自动人脸检测是与自动人脸图像分析有关的所有应用程序的基石，包括但不限于：人脸识别和验证^[1]，人脸跟踪监测^[2]，面部行为分析^[3]，面部属性识别^[4]（即性别/年龄识别^[5]和对人脸的美丽度评价^[6]），改变面部光照分布和面部塑形^[7]，面部形态重建^[8]，图像和视频检索，以及数码相册的自动分类和标记^[9]。人脸检测也是所有基于现代计算机视觉的人机交互和人类与机器人交互系统的第一步（例如，很多智能手机带有嵌入式的面部检测模块）。此外，大多数的商业数码相机有一个嵌入式人脸检测器模块，用来帮助自动对焦。最后，许多社交网络，如脸谱网，使用人脸检测机制为人脸图像打上标签。

自动面部特征检测可追溯到45-50年之前^[10]，是早期的计算机视觉领域的应用之一。在1990年代中期直到2000年初，人脸检测获得了爆炸式的发展^[11]。然而，在无约束条件下（所谓的“in the wild”），这些早期的大部分作品都无法提供良好的性能，因此不适合直接应用于现实环境中。Viola和Jones^[12]在人脸检测领域做出了具有开创性的工作，这是第一个几乎可以应用在现实中的面部检测算法，直到今天也被广泛应用于数码相机和照片分类软件中。此后，人脸检测研究取得了长足的进步，这些算法能够提供检测人脸正面的功能。除了计算机运算能力和存储容量的大幅度增长，现代人脸检测算法也受益于以下几方面：

1、引入了更具鲁棒性的特征提取的方法，如尺度不变特征变换（SIFT：Scale-invariant feature transform）特征^[13]，方向梯度直方图（HoG：Histogram of Oriented Gradient）特征，局部二值模式（LBP：Local Binary Pattern）特征及其基于它的原始方法做出的各类改进^[14]，此外Speeded Up Robust Feature（SURF）和DAISY特征，以及将上述特征与积分图（integral image）相结合的变换，如积分通道特征（ICF：Integral Channels Feature）^[15]。这些特征通过对人脸图像进行密集或稀疏采样，来描述脸部外观模型。

2、研究人员为在“in the wild”环境中进行目标探测任务开发了大量数据库及其基准，如Pascal，LFW，FDDB等，这些大数据集合的发展得益于：

1. 互联网提供了丰富的可视化数据
2. 数据共享服务和搜索引擎的发展取得了重大突破。
3. 许多强大的、对人脸具有判别性描述方法的发展，如Boosting方法，支持向量机方法（SVM：Support Vector Machine）及基于SVM改进的方法和（深度）神经网络架构，可以利用上述现代大规模数据集提供的信息量，促进复杂可变模型物体和面部模型结构的训练。
4. 高质量公开代码库的开发。著名的例子包括已经完全开源免费的计算机视觉库OpenCV发布，以及最近几年发布的高质量的卷积神经网络结构库，如深度学习框架Torch、Theano、Tensorflow、Caffe等，这些深度学习框架在机器学习的诸多应用领域如计算机视觉，自然语言处理，语音识别取得了极好的效果。

1.2 国内外研究现状

国内的研究集中在互联网企业，和高校研究机构。如腾讯优图，作为腾讯的机器学习研发机构，在人脸识别、图像处理上与实际应用场景相结合，在其开放平台上发布了人脸检测与分析、关键点追踪等技术体验；小米科技在2016年8月宣布了其研发的人脸检测算法在FDDB上达到了世界第一的准确率，其算法基于“Faster RCNN Bootstrapped by Hard Negative Mining”实现，并做了一些更新和改进，小米科技将算法公布在“Bootstrapping Face Detection with Hard Negtivate Examples”一文中。2016年商汤科技、清华大学深圳研究院联合在CVPR上针对计算机视觉提交多篇论文，其中一篇“Joint Training of Cascaded CNN for Face Detection”将人脸检测和校准进行联合训练，其成果应用在了多个品牌不同型号的手机上。在2016年的CNCC（China National Computer Congress）中国计算机大会上，中科院计算所研究研究山世光教授作了一篇题为《深度化的人脸检测与识别技术—进度与展望》，该报告针对人脸检测技术，面部特征点定位技术、判别特征学习与匹配方法、SeetaFace人脸识别引擎等方面作了详细介绍，提出了人脸检测算法能够快速发展是得益于深度学习，并介绍了2014年以来人脸检测技术的变迁：

国外关于人脸检测的研究主要集中在国际著名的学术会议上，比如CVPR(Conference on Computer Vision and Pattern Recognition)、ICIP(International Conference on Image Processing)等，学术杂志Computer Vision and Image Understanding、Pattern Recognition等。如2015年CVPR的一篇《A Convolutional Neural Network Cascade for Face Detection》提出了级联卷积神经网络，包括检测网络与校正网络，该方法是将传统方法与深度学习结合的典型案例，此外还有FacenessNet用卷积神经网络将人脸的眼睛、鼻子、嘴巴分别分割出来，根据是否按几何关系组成人脸计算阈值，满足一定条件则判定其为人脸。在《Improving multiview face detection with multi-task deep convolutional neural networks》中，作者提出通过训练一个多任务的深度卷积神经网络进行多视角的人脸检测。它采用关键技术例如ReLU和dropout层，当时在公开的FDDB数据上获得了很好的结果。受可变部件模型（DPM）的启发，训练好的DCNN可以完成面部姿态估计任务和关键信息点定位任务。