1. 研究目的与意义（文献综述包含参考文献）

文 献 综 述

一.人脸识别的前景及其展望

该识别是人类视觉中最杰出的能力之一。人脸识别技术在维护国家安全和人民生命财产安全以及在反恐，防恐中具有重要意义。因此，人们对它的研究抱有极大的兴趣。

1983年，BERTILLON采用语句描述方法对人脸分类。[1]

20世纪60年代，BLEDSOE提出了人脸识别的半自动系统模型与特征提取方法。[2]

70年代，美英等发达国家开始重视人脸识别的研究工作并取得进展。[3]

1972年，HARMON用交互式人脸识别方法在理论上与实际上进行了详细的论述。就在这一年，SAKAI设计了人脸图像自动识别系统。[4]

80年代初，T.MINAMI研究出了优于SAKAI的人脸图像自动识别系统。[5]

90年代，由于计算机技术，数字图像处理，模式识别技术的发展，加上人们对人脸图像自动识别的迫切要求，各国军，警方及有关部门高度重视，大公司鼎力相助，对它的研究变得非常热门。[6]

1996年美国军方组织了人脸自动识别系统大赛，勒克非勒大学的FACELT系统获得冠军。最近，美国的LAU公司研制的人脸图像自动识别系统，是以人眼辨别人的原理，基于生物测量学，人像复原技术开发的装置。[7]

用人脸12---42个特征点，对人群中寻找的人进行定量定性识别，已经用在机场，火车站，公共场所，重点控制地区。[8]

作为一种最直接，最自然，最容易被人接受的生物特征识别技术，人脸识别致力于探索如何使机器能够自动的根据用户的人脸图像来鉴别用户的身份。[9]

人脸识别技术发展到现在，已有30多年的历史，是模式识别和计算机视觉的一个非常活跃的研究热点。[10]

人脸识别的研究涉及模式识别，计算机视觉，人工智能，图像处理，心理学，生理学和认知科学等，与计算机人机交互领域和基于其他生物特征的身份识别方法都有密切联系。虽然人们可以毫不费力的通过脸部图像来鉴别互相的身份，然而由于成像过程中各种影响因素的变化常常导致同一个人的人脸图像发生非常大的变化，因此建立自动系统完成识别任务是非常具有挑战性的。[11]

虽然目前国内外已经有许多实用系统问世，但是只有在非常严肃的成像条件下，才能得到比较令人满意的识别效果。因此，人脸识别研究仍然远远没有到达完善的境地，还有非常大的发展空间。[12]

近年来，我国有关部门也很重视，一些研究单位也开始从事人脸图像自动识别方面的研究。模式识别方面有了一定的进展。[13]

二.人脸识别的整体过程

一个典型的人脸识别系统处理过程如图所示。一般包括三个步骤：人脸检测，人脸特征提取，人脸识别与验证。具体实现过程中，先获取图像集，然后用人脸检测模块进行人脸检测，如果检测到人脸图像，则进行特征点定位，一般以两眼中心为基准，据两眼距离D，对人脸图像进行归一化处理，归一化处理包含了图像预处理，图像缩放以及有效人脸区域选取等操作，最后对归一化的人脸图像进行特征提取，送入分类器进行识别，最终获得识别结果。[14]

输入图像

人脸检测

训练

眼睛定位

模板库

预处理

特征提取

比对

输出结果

1，预处理过程

预处理是人脸识别过程中的一个重要环节。它是在图像分析中，对输入图像进行特征提取，分割和匹配前所进行的处理。输入图像由于图像采集环境的不同，如光照明暗程度以及设备性能的优劣等，往往存在有噪声，对比度不够等缺点。另外，距离远近，焦距大小等又使得人脸在整幅图像中间的大小和位置不确定。为了保证人脸图像中人脸大小，位置以及人脸图像质量的一致性，必须对图像进行处理。图形预处理的主要目的是消除图像中无关的信息，过滤干扰，噪声，恢复有用的真实信息。增强有关信息的可检测性和最大限度的简化数据，从而改进特征提取，图像分割，匹配和识别的可靠性。[15]

采集

预处理

特征提取

特征对比

记录值阈

在预处理阶段，对图像进行优化，尽可能去除或者减小光照，成像系统，外部环境等对待处理图像的干扰，为后续处理提高质量。以便使不同的人脸图像尽可能在同一条件下完成特征提取，训练和识别。人脸图像的预处理主要包括人脸扶正，人脸图像的增强，以及归一化等工作。人脸扶正是为了得到人脸位置端正的人脸图像。图像增强是为了改善人脸图像的质量。不仅在视觉上更加清晰图像，而且使图像更有利于计算机的处理和识别。归一化工作的目标是取得尺寸一致，灰度取值范围相同的标准化人脸图像。

2，特征值提取

人脸识别的第一阶段；人脸检测与定位主要是从具有一定背景的图像中分割出人脸图像，并进行几何配准。一般来说，人脸图像的维数很高，数据量大，而且不同人脸的相似度

很高，即使同一人脸图像因受外在因素（噪声，光照，表情，姿态，年龄等）影响其离散性也很大，若直接对原始数据进行识别，其分类效果，计算时间都会制约识别性能的提高，因此，在分类前有效的提取人脸特征是提高人脸识别性能的关键。特征提取主要达到以下2个目的：一是从配准好的人脸图像中提取能区分不同人的特征；二是降低人脸图像中的信息冗余，减少维数，提高后续识别的运算速度。在已经提出的人脸识别方法中所采用的人脸特征可概括为四类：直观几何特征，形状和纹理特征，全局统计特征，变换域特征与代数特征。[16]

（1）直观几何特征

直观几何特征主要指人的五官（如眼睛，鼻子，嘴巴等）以及它们之间的几何关系。人脸是由眼睛，鼻子，嘴，下巴等部件构成，对这些部件和结构关系的几何描述，可作为识别人脸的重要特征。早期的基于几何特征的方法以及模板匹配法一般都以这些特征作为识别的基础。这类特征虽然具有维数低的特点，但对于同一个人因表情及光照条件变化往往会导致其尺寸及相对位置发生较大的变化，因此识别效果并不令人满意。

（2）形状和纹理特征

人类能很容易识别出漫画中人物，这说明了人脸形状包含了丰富的识别信息，形状特征一般指人脸图像的边沿，轮廓或一些关键点的坐标尺量，是一种二值特征，具有很强的抗光照变化能力；而纹理特征指人脸图像像素的灰度值，可为形状特征的有益补充。ASMS/AAMS模型利用形状和纹理特征通过PCA进行统计建模，并完成人脸特征配准和识别工作，VIVEK和SUDHA仅利用形状特征通过HAUSDORFF距离计算来完成识别。

（3）全局统计特征

全局统计特征的提取思想是：将人脸图像看作一个二维随机过程，利用统计理论中的各阶矩作为特征来描述和分析图像，典型的此类特征如图像的自相关函数，图像的七个HU矩不变量，ZEMIKE矩等，这类特征是全局特征，对几何形变（平移，旋转和比例变化）具有一定的抑制作用。

（4）变换域特征

借鉴于原始空域图像易受各种因素（如噪声，光照，几何形变，表情等）影响，利用变换域对人脸图像进行描述不是一种好的选择。通过对图像进行各种数学变换，所获得的变换域系数作为图像的一种特征，可以有效抑制某些因素的影响，提高分类能力。

在人脸识别中较常使用的变换域特征所采用的变换方法有：傅立叶变换，离散余弦变换，小波变换等。如YU等人提出的解析傅立叶-梅林变换框架。能抑制几何形变（平移，旋转，尺度）影响，是完备的特征描述子，且能重构图像，弹性束图匹配方法通过GABOR小波变换获得的多尺度，多方向的JET小波域特征来进行识别工作。

（5）代数特征

在人脸识别中，代数特征主要反映人脸空间分部的一种内在属性。其一般将人脸图像作为一个整体看待，以多维空间中的一个点或一个尺量来进行处理。在基于统计的方法中，如何提取有利于鉴别的代数特征是判断算法的优劣关键。代数特征的提取先要将描述人脸图像的尺量按统计理论进行组合，获得分部矩阵，然后按判别准则对分部矩阵进行各种代数变换，或进行各种矩阵分解，计算出最优鉴别变换矩阵，将原始数据投影到由变换矩阵所确定的空间获得所需特征。不同代数方法，不同判别准则可获得不同代数特征，如PCA可获得无监督特征，LDA可获得有监督特征，核技术可获得非线性特征等。[17]

从分类角度看，我们希望所提取的特征能满足下面几个理想条件：一是能很好描述人脸图像；二是对人脸的内在变化(表情、年龄等)和外在因素(噪声、光照、几何形变、遮挡等)有很好的抑制作用；三是能尽可能降低类内变化，扩大类间变化，以利于分类；四是尽可能少的特征维数，以降低计算时间。到目前为止，还没有一种特征提取方法所获得的特征能很好满足上述条件，一般在某个方面获得了较理想的效果，这也是许多学者对特征提取技术还在孜孜追求的原因所在。

总的来说，上述5种特征各有优缺点，人脸的直观几何特征比较稳定，受人脸的姿态变化与光照条件等因素的影响小，但不容易抽取，而且测量精度不高；形状特征对光照变化有较强的抑制能力，但信息丢失严重；全局统计特征尽管能抗几何形变，但同时降低了类间变化信息；相比之下，代数特征容易得到，且能与其他特征融合获得混合特征，具有较好的特性，但其对图像的标准化和归一化的要求较高，”小样本”情况(数据维数大于训练样本个数的情况)也是其需要克服的难题；而变换域特征一般在识别方法中作为预处理身份出现，它能有效消除某些因素的影响，与代数特征融合可获得很好识别性能，因此也广受重视。

三、图像处理的MATLAB实现

由MATH WORK公司开发的MATLAB语言语法限制不严格，程序设计自由度大，程序的可移植性好，MATLAB还推出了功能强大的适应于图像分析和处理的工具箱，常用的有图像处理工具箱，小波分析工具箱及数字信号处理工具箱。利用这些工具箱，我们可以很方便的从各个方面对图像的性质进行深入的研究。MATLAB图像处理工具箱支持索引图像，RGB图像，灰度图像，二进制图像并能操作.BMP,.JPG,.TIF等多种图像格式文件。[18]

1，图像处理及过程

图像是人类获取信息，表达信息，和传递信息的重要手段。利用计算机对图像进行去噪声，增强，复原，分割，提取特征等理论，方法和技术称为数字图像处理。数字图像处理技术已经成为信息科学，计算机科学，工程科学，地球科学等诸多方面的学者研究图像的有效工具。数字图像处理主要包括图像变换，图像增强，图像编码，图像复原，图像重建，图像识别，以及图像理解等内容。

(1)图像处理的基本操作

读取和显示图像可以通过IMREAD（）和IMSHOW（）来实现，图像的输出用IMWRITE（）函数就可以很方便的把图像输出到硬盘上，另外还可以用IMCROP（）。IMRISIZE（），IMROTATE()等来实现图像的裁剪，缩放，和旋转等功能。

(2)图像类型的转换

MATLAB支持多种图像类型，但在某些图像操作中，对图像的类型有要求，所以要涉及到对图像类型进行转换。MATLAB7.0图像处理工具箱为我们提供了不同图像类型相互转换的大量函数，如MAT2GRAY()函数可以将矩阵转换为灰度图像，RGB2GRAY()转换RGB图像或颜色映像表为灰度图像。在类型转换的时候，我们还经常遇到数据类型不匹配的情况，针对这种情况，MATLAB7.0工具箱中，也给我们提供了各种数据类型之间的转换函数，如DOUBLE()就是把数据转换为双精度类型的函数。

(3)图像增强。

图像增强的目的是为了改善图像的视觉效果，提高图像的清晰度和工艺的适应性，以及便于人与计算机的分析和处理，以满足图像复制或再现的要求。图像增强的方法分为空域法和频域法两大类，空域法主要是对图像中的各个像素点进行操作，而频域法是在图像的某个变换域内对整个图像进行操作，并修改变换后的系数，如傅立叶变换，DCT变换等系数，然后进行反变换，便可得到处理后的图像。

下面以空域增强法的几种方法加以说明[19]

(a)灰度变换增强

有多种方法可以实现图像的灰度变换，其中最常用的就是直方图变换的方法，即直方图的均衡化。这种方法是一种使输出图像直方图近似服从均匀分布的变换算法。MATLAB7.0图像处理工具箱中提供了图像直方图均衡化的具体函数HISTEQ（），同时我们可以用函数IMHIST（）函数来计算和显示图像的直方图。

（b）空域滤波增强

空域滤波按照空域滤波器的功能又可分为平滑滤波器和锐化滤波器。平滑滤波器可以用低通滤波实现，目的在于模糊图像或消除噪声。锐化滤波器是用高通滤波来实现。目的在于强调图像被模糊的细节。在MATLAB中，各种滤波方法都是在空间域中通过不同的滤波算子实现。可用FSPECIAL()函数来创建预定义的滤波算子。然后可以用IMFILTER（）或FILTER2（）函数调用创建好的滤波器对图像进行滤波

（c）边缘检测

数字图像的边缘检测是图像分割，目标区域识别，区域形状提取等图像分析领域十分重要的基础，也是图像识别中提取图像特征的一个重要属性。边缘检测算子可以检查每个像素的领域并对灰度量化率进行量化，也包括对方向的确定。其中大多数是基于方向导数掩模求卷积的方法。常用的有SOBEL算子，PREWITT算子，ROBERTS算子，LOG算子等。MATLAB7.0工具箱中提供的EDGE（）函数可以进行边缘检测，在其参数里面，可以根据需要选择合适的算子及其参数。

2，图像处理功能的MATLAB实现实例

本文通过运用图像处理工具箱的有关函数对一人脸的图像进行处理；

（1）图像类型的转换

因后面的图像增强，边缘检测都是针对灰度图像进行的，而我们的原图是RGB图像，所以先对原图类型进行转换。

（2）图像增强（灰度图像直方图均衡化）

通过比较原图和直方图均衡化后的图像可见，图像更清晰，均衡化后的直方图的形状更理想。

灰度图像的平滑与锐化处理：平滑滤波器的目的在于模糊图像或消除噪声，MATLAB7.0提供了MEDFILTER2（）函数用于实现中值滤波，WIENER2（）实现对图像噪声的自适应滤波

（3）边缘检测：MATLAB7.0提供EDGE（）函数实现边缘检测，还有各种方法算子供选择，采用CANNY算子边缘检测。[20]

3，基于积分投影的人脸图像特征点的提取

（1）图像积分投影方法

积分投影法是根据图像在某些方向上的投影分布特征来进行检测的，这种方法在本质上是一种统计方法，主要有水平投影和垂直投影.[21]

(1)

(2)

在式（1）中，（x,y）表示像素所处的位置，I（X,Y）表示该像素点的灰度值，N表示一行所有的像素点数，可见水平投影就是将一行所有的像素点的灰度值进行累加后再显示。

在式（2）中，（X,Y）表示像素所处的位置，I（X,Y）表示该像素点的灰度值，M表示一列所有的像素点数，可见垂直投影就是将一列所有的像素点的灰度值进行累加后再显示。

（2）人脸轮廓的确定

人脸轮廓的确定就是为了排除其他边缘线和噪声的干扰，以便精确的提取人脸的特征点。假设图像的宽度和长度分部为XIMAGE,YIMAGE；人脸左右侧的横坐标分别为XLEFT,XRIGHT；头顶点的纵坐标为YHEAD,人脸轮廓的确定可以分为两步进行，第一步，根据水平投影确定头顶点的位置。第二步，再采用垂直投影确定人脸的左右侧。

（3）图像人脸特征点的提取

确定了人脸轮廓后，就可以进行人脸特征点的提取。人脸特征点的选择不仅要反映人脸识别中最重要的特征又要容易提取，特征的个数要包含足够的信息，但不可太多，以免增加运算量。此方法选取人脸识别的7个特征点分别为4个脸角点，鼻尖和2个嘴角点。这些特征点的分布具有角度不变性的特点，同时，与其他采用测量特征点的系统相比，这7个特征点比较容易从图像中提取出来并加以测量。[22]

尽管人脸形状各有差异，但都符合三停五眼的规则。人脸轮廓确定后，也就可以大致确定出人脸各特征点的位置关系。即可由上到下区分出脸，鼻，嘴，等特征区域。在这些局部区域内再运用积分投影法，就可以精确定位出眼，鼻，嘴。其过程如下

a,计算水平投影，取其最大值，确定眼睛的横坐标值Y，

b眼部以下，选定两个最大的水平投影，分别为鼻部和嘴部

c计算垂直投影，在上一步检测出的眼部附近的最大值为眼部的X位置。

d双眼之间的投影最大值为鼻位置

参考文献

[1]陈启泉，邱文宇，陈维斌等，标准正面人脸图像的特征提取[J]华侨大学学报2000,21（4）:413-418.

[2]林福严，刘巧静，李兴森，人脸特征的定位与提取[J]电子技术应用，2000（7）:17-18,21.

[3]马丽红，余英林，张宇，复杂背景中的人脸特征定位与提取[J]，数据采集与处理，2000,15（1）:33-3.

[4]李传林，鲁秀青,人脸照片的特征提取与查询[J]计算机应用研究，2002（7）:110-111.

[5]胡迎春，张增芳，梁数，人脸图形嘴巴特征点自动提取系统[J]广西工学院学报，2003,14（2）:27-30.

[6]陆继祥，张增芳，李陶深等，基于24位彩色人脸图像嘴唇的分割和提取[J]计算机工程，2003,29（2）:147-148.

[7]王冬梅，群集智能优化算法的研究[D]，武汉：武汉科技大学，2004.

[8]王虹，董雅丽，用于人脸识别的图像预处理方法研究与实现[J]，武汉理工大学学报，2007,31（5）:876-878.

[9]王举辉，王英永，基于灰度图像的人脸预处理系统的设计[J]，山东理工大学学报，2006,20（3）:68-72.

[10]张小东，张珍荣，独立学院师资队伍建设的思考[J]赣南师范学院学报，2007，（4）:107-109.

[11]俞峰，郑剑，新形势下独立学院人才引进问题对策研究[J]中国校外教育，2007，（6）：6.

[12]祝磊，朱善安，人脸识别的一种新的特征提取方法[J]计算机学报，2007,34（6）:122-1251.

[13]何东风，凌捷,人脸识别技术综述[J]计算机学报，2003:13（12）75-78.

[14]何国辉，甘俊英，PCA-LDA算法在性别鉴别中的应用[J]，中国图像图形学报，2006,32（19）:208-211.

[15]张俭鸽，王世卿，盛光磊，基于小波和DFB-PCA的人脸识别算法研究[J]自动化学报，2007:23（2-1）.

[16]曹林，王东峰，刘小军，邹谋炎，基于二维GABOR小波的人脸识别算法[J]电子学报，2006:28（3）490-494.

[17].焦峰，山世光，崔国勤，高文，李锦涛，基于局部特征分析的人脸识别方法[J]自动化学报，2003,15（1）:53-58.

[18]徐青，邓伟，一种融合两种主成分分析的人脸识别方法[J]计算机学报，2007,43（25）:195-197.

[19]钟向阳，基于GABOR小波的人脸识别系统的实现[J]，中国图像图形学报，2005:23（3）.

[20]张燕昆，刘重庆，一种新的基于LDA的人脸识别方法[J]自动化学报，2003,22（5）:327-330.

[21]王志良，陈锋军，薛为民,人脸表情识别方法综述[J]计算机应用与软件2003年12期.

[22]小燕,智能交通系统中的人脸特征提取[J],硕士学位论文,成都理工大学:2003.

[23]ZhangJun ,YanYong,MartinLades.FaceRecognition:Eigenface,ElasticMatching,andNeuralNets[J].proceedingsofthe IEEE,1997,85(9):1422-1435.

[24].SamalA,lyengarPA.AutomaticRecognitionandAnalysisforHumanfacesandFacialExpressions:ASurvey[j].Pattern Recognition,1992,25(1):65-77.

[25]AraV,Nefian,StatisticalApproachestoFaceRecognition[R].GeorgiaInstituteofTechnagySchodofElectrical Engineering,1996,12

[26] Wangmeng Zuo,KuanquanWang,David Zhang,HongzhiZhang.Combination of two novel LDA-based methods for face recognition[C].Proceedings of the IEEE,2007:735-742

[27]Liu Mingbao,Gao Wen.A Hierarchical Approach to Human Face Detection in a Complex Background [J].The First International Conference on Multi-modal

2. 研究的基本内容、问题解决措施及方案

1.本课题要解决的问题

图像预处理的步骤主要包括人脸检测，特征提取，人脸识别。

在预处理阶段需要对采集到的图像进行去噪，图像光度的调节，RGB阈值的设定，及图像的扶正功能。主要方法有直方图均衡化，灰度拉伸，中值滤波，同态滤波。

特征值的提取，特征提取主要达到以下目的：一是从配准好的人脸图像中提取能区分不同人的特征；二是降低人脸图像中的信息冗余，减少维数，提高后续识别的运算速度。

目的是对归一后的标准人脸图像进行特征提取，输入，归一化人脸图像，输出，若干特征向量。对多种特征定位方法进行研究，例如特征定位是最经典的方法主动形状模型ASM、主动表观模型AAM。同时研究了GABOR小波特征和灰度差值特征提取算法

人脸检测

预处理

特征提取

表情识别

采样

输出

2.本课题拟采用的研究手段

主要应用的方法介绍

面部表情识别系统是对人脸的表情信息进行特征提取分析，按照人的认识和思维方式加以分类和理解，利用人类对所具有的情感信息方面的经验知识使计算机进行联想，思考及推理，进而从人脸信息中去分析理解人的情绪，

一个实用的面部表情识别系统至少包括图像获取，预处理，特征提取，分类判别和后续处理几个步骤。

表情自动识别系统中各部分主要功能如下

1获得图像，用于面部表情识别的图像包括静态或动态图像。考虑输入图像的空间，彩色，时间维数，二维灰度人脸图像序列是最常用来进行识别的图像形式。然而，由于低成本彩色图像获得设备的实用性的增加和彩色图像所包含的更多的信息，使得彩色图像也成为识别系统的对象。

2，预处理，图像预处理常常采用信号处理的形式（如去噪声，像素位置或光照变量的标准化），还包括人脸及它的分割，定位或跟踪。表情的表示对图像中头的平移，尺寸变化和旋转是敏感的。为了消除这些不必要的影响，通常需要在分类前进行几何标准化。

3，特征提取，将像素数据转换为一个更高水平的人脸及其组成部分的外形，运动，颜色，肌理和空间结构表示。提取出的表示被用来进行后续的表情分类。基本的表示方法包括基于几何的，运动的，统计的或者空间变化的特征用来在面部表情识别系统分类前的处理。

4，分类，表情分类出一个分类器执行，该分类器由模式分布模型组成，与判决程序相结合，很多包含参数和非参数的技术的分类器已经被应用于表情识别系统中。常用的分类方法包括，隐马尔可夫模型方法，人工神经网络，支持向量机，贝叶斯决策，线性判别分析，核判别分析。

5，后续处理，通过各个领域的知识来修正分类的错误或联合一种分类等级中的几个标准来提高识别的准确性。