摘 要

人类有很多表达感情的方式，人脸面部表情情绪就是其中的一种，在无声的世界里，人脸面部表情是一种特别有效的手段，并且不同的表情传递了不同的思想感情，即使不语言交流，也可以得知对方关于自己或者其他事物的态度以及对世界的认知。并且根据著名心理学家Mehrabian，可以知道一个公式：感情表露=7%的言语 38%的声音 55%的面部表情。

本论文文介绍了人脸面部表情识别中所应用MATLAB对图像进行尺寸归一化处理，Gabor特征提取特征信息，再应用libsvm工具箱对图像进行人脸特征提取的图像处理,通过实例来应用matlab数字图像处理来对某一特定的人脸图像处理，进而应用到本论文中所设计的基于SVM的人脸面部表情识别系统。

本次毕业设计实验的具体实现方法式是对人脸面部表情识别的matlab的GUI 界面设计，并对两种不同特征原理matlab编写的实现人脸图像识别代码以及数据分析。以及单张图片识别和多张图片识别的结果对比。

关键字：SVM，Gabor小波变换，MATLAB

abstract

Human beings have many ways to express their feelings, facial expression is one of them. In the silent world, facial expression is a particularly effective means, and different expressions convey different thoughts and feelings. Even without verbal communication, we can also know the attitude of the other party about ourselves or other things and the perception of the world. And according to the famous psychologist Mehrabian, we can know a formula: emotional expression = 7% speech 38% voice 55% facial expression.

This paper introduces the application of MATLAB in facial expression recognition to normalize the size of the image, Gabor feature extraction feature information, and then libsvm toolbox for image processing of facial feature extraction. Through examples, matlab digital image processing is applied to a specific face image processing, and then applied to the SVM-based person designed in this paper. Facial expression recognition system.

The specific realization method of this graduation design experiment is the GUI interface design of MATLAB for facial expression recognition, and the realization of face image recognition code and data analysis written by MATLAB with two different feature principles. The results of single image recognition and multiple image recognition are compared.

Key words: SVM, Gabor Wavelet Transform, MATLAB

目录

第1章 绪论 1

1.1人脸面部表情识背景及意义 1

1.2国内外研究现状 2

1.3本论文人脸面部表情识别内容 3

1.4章节安排 5

第2章 Gabor小波原理及HOG原理分析和仿真实验 6

2.1 Gabor小波原理阐述 6

2.2 Gabor滤波器设计 6

2.3 HOG特征提取原理 7

2.4 HOG特征实验及仿真 10

2.5本章小结 11

第3章 SVM分类器设计 12

3.1支持向量机的原理 12

3.1.1线性可支持向量机 12

3.1.2非线性支持向量机和核函数 15

3.1.3线性支持向量机与松弛变量 17

3.2 matlab中libsvm工具箱介绍 20

3.3 SVM实验及仿真 21

3.4本章小结 22

第4章Gabor特征与HOG特征识别系统对比 23

4.1 Gabout与SVM构成的识别系统 23

4.2 HOG与SVM组成的识别系统 27

4.3两个系统效果对比 28

4.4本章小结 28

第5章 总结与展望 29

5.1总结 29

5.2展望 29

参考文献 30

致谢 31

第1章 绪论

1.1人脸面部表情识背景及意义

人类有很多表达感情的方式，人脸面部表情情绪就是其中的一种，在无声的世界里，人脸面部表情是一种特别有效的手段，并且不同的表情传递了不同的思想感情[1]，即使不语言交流，也可以得知对方关于自己或者其他事物的态度以及对世界的认知。并且根据美国心理学家梅比娜，可以得到一个著名的等式：感情表露=7%的言语 38%的声音 55%的面部表情[2]。

面部表情编码系统（FACS）这个系统基本上目前大多数人脸面部表情情绪识别技术所使用的参考，这是由Ekman和Frisen等专家早在20世纪创建的，简而言之，通过44个动作单元（AU）与7个基本面部表情的学习，即厌恶、幸福、悲伤、愤怒、恐惧、惊讶与中立。这个系统在20世纪来说是比较完整的，但是这个系统由于时代的局限性也存在两个重大的缺点：一是运动单元是纯粹映射到人脸的部分空间模板，二是没有时间信息，只是一个相对静态的状态[3]。

所以，目前对于人类来说最重要、最可靠的情感识别模式是人脸面部表情识别。对于科研来说一个比较新型并且有研究价值意义的方向。是人机交互领域的研究热点，涉及到生物学，人类心理学、数理经济统计学、图像计算机学等多种人文学科和科学学科，应用可以推广到疲劳驾驶监督、人机交互、医疗、安全等多个领域。在商场这种公共场合，通过摄像头对商场里的各种人员进行人脸表情检测一是可以预防公共场合里的安全事故出现，视频巡检是否有可疑人员的出现，如果有，立即反馈给观察者，以便提前警备，避免更大的伤亡与损失，二是商家可以通过表情分析，对自己的商品进行调整以及整改，以获得最大化的利润[4]。在私人领域中，人机交互过程中，机器根据顾客或者服务者的人脸面部表情进行推荐调整，既减少浪费服务者的时间，也收获了满意度，增加了人性化服务。还有在机动车驾驶过程中，通过采集驾驶员的声音语速，面部表情状态来判断是否酒后驾车，系统自动提醒，以免出现安全事故。在医疗领域，医生通过人脸面部表情识别对所管辖的病人精神心理状态分析，对症下药，如果病人的精神状态不好，提前做出预判，也可以防止医闹事件，在刑事犯罪领域，警察对嫌疑人的面部表情，肢体语言等进行分析，对案件的破解将会提供一定的线索，有助于案件的发展[5]。

并且近年来由于深度学习的不断发展与深入，这是因为深度学习强大的学习的能力，这样就导致了大量基于深度学习的人脸表情识别方法被提出，比如HMM，ANN，支持向量机法以及K最邻近算法等多种不同理论的分类和识别方法[6]。

1.2国内外研究现状

由于人脸面部表情情绪在电子教育领域、人机交互、远程医疗以及辅助医疗等多个领域具有广泛的应用前景和巨大的潜在经济价值，使得科研界和工业界对极其重视，并开展了大量相关的研究。其中以SONY公司的情感机器人以及AIBO机器狗等多种不同的机器人是日本各大公司竞相研发个人机器人产品系列中的典型代表。在欧盟许中，多国家也在着手研究人脸面部情绪识别技术，很多大学成立了相关的研究小组进行人脸面部情绪识别的实验，比如：英国伯明翰大学等多所大学[8]。在国内，有科研工作者如涂序彦、陶霖密等，也在陆续开展对人脸面部表情情绪识别的相关工作。

从十九世纪开始，人们就有对人脸面部表情情绪识别的研究。在1872年，有一个著名的心理实验，是生物学家达尔文所做，并且表明了人脸面部表情情绪不会因为人类的性别以及其他无关的变化而变化。1971年，6种基本表情：生气、厌恶、恐惧、高兴、悲伤、惊讶的提出，并且同年美国心理学家Ekman和Friesen两人又继续开发出了用于检测人脸面部部表情情绪微小变化的人脸面部肌肉变化编码系统（FACS）[9]。该系统的人脸面部表情动作是采用44个能够独立运动的表情活动单元(AU)来描述，而这些运动单元显示了人脸面部肌肉运动与人脸面部表情情绪的对应关系。两人提出的六种不同的基本表情以及FACS系统对后世人脸面部表情情绪的研究发展具有重大的意义，并且后来的学者的研究也大多基于这个系统之上进行。1978年Suwa第一次尝试认识面部动画中的表情。1990年代，表情认知的研究变得兴盛起来，国家和社会基金更多的支持研究者，在人工心理学，人工感情，图形识别等的领域慢慢成为热点。后来随着计算机技术的不断发展，以及数字图像处理技术与模式识别的发展，又出现的新的识别方法使用光流来判断肌肉运动，这是由KMase和APentland两个人领导的，具体的使用方法是提取人脸面部局部空间中的光学流值并形成表现特征向量[10]。最后使用人脸面部表情特征向量构筑表情识别系统。这个系统虽然不能识别六种表情，但是可以识别四种不同的表情，并且识别率高达80%，分别是高兴、生气、厌恶和惊奇。

我国人脸面部表情情绪识别发展状况，按照时间线来说，1997年，第一次将国外的人脸面部表情情绪识别技术的诸多成果引入我国的是高文教授所在的团队，2003年，王志良教授所在的团队又开始将人脸面部表情情绪识别的技术应用于人机交互情感的研究中，并对之前的人脸面部表情情绪的发展进行了详细的总结，2004年郑文明博士提出多种不同的识别方法，给后来者开辟道路。他提出了基于核典型的相关分析，以及偏最小二乘法回归等。2006年，从这时开始国家对这项研究给予大力支持，无论是资金还是人员，并且相关研究正式立项，直至今年，总的项目数是有大幅增长的趋势，国内多所的重点大学及其下的科研机构或实验室都开始参与了这项项目的研究。从总的来看，虽然人脸面部表情情绪识别的商业应用还是初始阶段，并没有取得重大的进展，但是许多的科研人员以及企业都在不同的领域尝试应用这门技术，并且不少的研究人员有不错的进展与成果[11]。目前国内来说，主要是以下几个方面的，一个是苏光教授，目前任职于清华大学，他也是中国人脸识别的开山之人，第二是中国科学院自动化所的李教授，他首先是在微软的亚洲研究院取得了不俗的成绩，后来才来到自动化研究所，进行人脸识别的深入研究。第三是汤晓鸥教授，目前任职于香港中文大学，现有的学术界的人脸面部表情情绪识别技术的大赛中他的团队是识别率最高的纪录保持者，超过了目前世界上人脸面部表情情绪识别的平均水平，他的地位确立是在帮助讯飞科技建立他们的语音识别技术后。并且在国内许多重点大学与科研机构都在开始参与人脸面部表情情绪识别技术的研究，虽然商业价值前景还没有完全开发，但许多的科研机构和企业都在不同的领域尝试应用人脸面部表情情绪识别技术，并且取得了部分成就[11]。

在国外也有不少的研究机构和学校也在致力于人脸面部表情研究，取得了不错的成果，也正是因为这样，推动了许多人脸面部表情数据库的建立，最开始是Ekman和Friesen所创建的，是由1000多张不同的人组成的人脸面部表情图像组成的数据库，再者就是日本ART建立的数据库，这是一个由10名日本年轻女性的七种不同表情组成的，总有213张人脸面部图像。第三就是基于AU编码的科恩卡纳达人脸面部表情数据库，这是由美国的CMU机器人研究所与其所属的心理系一起建立的，包含了210个18岁至50岁不同年龄性别肤色人的2000多张图片，这个数据库与JAFFE数据库是目前最为熟悉的也是最常使用的数据库，同时前者还建立了PIE数据库，这个数据库包括了68人的41286幅图像。加州大学所属实验室建立了根据FACS系统得到的人脸运动表情库，ANN识别方法是这个系统主要使用的方法，美国其他的大学也创建了不少人脸面部表情数据库，国外也有许多人脸面部表情数据库，我国当然也不会落后，也有建立了自己的人脸面部表情数据库，目前资源最全的人脸面部表情数据可是由吴丹和林学闽所创立的。这个数据库大约有1000段人脸面部表情视频，包含了70个不同的人脸。

1.3本论文人脸面部表情识别内容

本论文关于人脸面部表情情绪认识在matlab的应用。从脸部表情和情感识别的标准图像尺寸中提取Gabor小波特征变换，接着使用LIBSVM工具箱在提取特图像中的分类和识别。本研究在特定表情的图像处理中应用了matlab数字图像处理，应用于基于SVM设计的表情的分类和识别，然后得到想要的结果。

本论文人脸面部表情识别主要包括了两个方面：脸部特征提取和特征分类。本文主要的工作集中于脸部特征提取和特征分类。

在人脸面部表情情绪特征提取时，本文着重研究了Gabor小波变换的原理和在实际中对JAFFE数据库的图像处理中的作用。顺便介绍了HOG特征提取，与Gabor小波特征提取进行对比，使得实验结果更有可信性。

在人脸面部表情情绪识别方面，本论文文采纳了支持向量机的分类和识别的进行人脸面部表情情绪识别的方法，这是可编码的方法，该方法有效的减少了分类器的训练和测试时间。并且还采用半监督加权模糊的C-MEANS的方法来有效解决缺少样本的问题。图1.1显示了设计完整人脸面部表情情绪识别系统的过程流图。

图1.1 系统流程图

1.4章节安排

第1章对人脸面部表情情绪识别的背景以及国外的如何开始发展以及后续的发展过程有一个详尽的描述，对本毕业设计的实验系统主要针对的两个方面重点阐述。

第2章主要介绍Gabor小波变换特征提取原理以及HOG特征提取原理的理论基础知识，以及在MATLAB软件中两种不同原理代码实现。不同的代码实现的人脸面部图像结果进行演示以及对代码的输入输出详细解释。

第3章主要对支持向量机的的数学原理加以详细的解释，以及在MATLAB软件中加入所需要的LIBSVM工具箱， 再继续对工具箱的分类以及训练具体参数和使用办法阐述，并且对工具箱里的数据进行分类和识别，再对数据例子基本识别准确度和分类识别效果进行了展示。

第4章是对人脸面部表情识别的GUI 界面设计，并对第二章中两种不同特征原理matlab编写的实现人脸图像识别代码机型数据分析。以及单张图片识别和多张图片识别的结果对比。

第5章总结了本论文使用的两种原理所实现的人脸面部表情情绪识别效果以及两种不同特征提取原理的理解，代码的实现系统识别效果的程度。并对后续的人脸面部表情情绪系统的研发和完善的方面进行了详细的阐述。

第2章 Gabor小波原理及HOG原理分析和仿真实验

2.1 Gabor小波原理阐述

二维Gabor小波核定义为：

(2.1)

其中，v称之为Gabor核尺度，u称之为Gabor核方向，z=(x,y)表示某人脸面部图像的具体坐标位置，表示进行模的运算，在(2.1)式中，的功能是补偿由频率所确定的能量谱的衰弱，而通过对包络函数进行加窗函数的方式加以限制，由于Gabor小波变换为短时傅里叶变换方法的一种，就是通过加了上述的包络函数的窗函数，才能实现某种信号的时频分析。而式中的是属于直流分量的部分，此中高斯函数半径σ会对Gabor小波尺寸大小加以限制。我们知道，直流分量在某些情况下是可以忽略的，当滤波器在的值是非常大时我们就可以忽略这种干扰，这样做的结果是可以使得对光照的敏感程度降低。它不仅保持信息的空间关系，而且同一时间能够展示空间结构。并且其滤波器相应的中心频率是，可以将其表示为：

(2.2)

其中(2.2)中，，为最大频率，在所得的频率的核函数中，f被称之为空间因子，滤波器的方向可变性可以用来反映。对于不同方向和不同尺度的具体反射，Gabor滤波器可以用来描述。这样通过滤波器的选择以后可以得到一系列相应的值。便可以获得一族Gabor滤波器,通常尺度取值为5,v={0,1,2,3,4},方向取值为8,u={0,1,2,3,4,5,6,7},这样就可以得到40个不同的Gabor小波特征变换函数，并且还要取得到的8的方向，以及5的尺度的Gabor小波的核实值部分[12]。

2.2 Gabor滤波器设计

本代码是根据2.1所阐述的Gabor小波原理进行的编写。Gabor小波变换原理是基于频率域的特征提取，具体是将人脸面部图像从空间域转换为频率域的特征提取原理。人脸面部表情情绪图像是对不同的核频率，波带宽度以及不同的方向三个方面进行多层次的不同分辨，这样不仅可以得到人脸面部表情图像的不同方向和图像特征的细节。但是这种方法是一种比较低层次的特征，不易于匹配和识别也是它的缺点。然而，为了提高人脸表情和情绪的识别率，通常采用神经网络法和支持向量机分类器相结合的方法。

图2.1Gabor特征提取代码

图2.2原始表情图 图2.3 Gabor滤波后的图

我们知道Gabor滤波器是一个基础的高斯函数（其中图2.1代码里的Sx和Sy表示的是沿着x轴和y轴的差额）构成的,并且具体的是由一个复杂的正弦调制（分别沿着x轴和y轴的中间频率U和V）组成。I是输入图像，f的含义是滤波频率，G代表的是上面所述的输出滤波器，gabout是表示由滤波器输出的图像。

2.3 HOG特征提取原理

目前比较热门的研究方法计算机视觉和数字图像处理，并且方向梯度直方图特征原理用来说明这种研究中的目标检测的特征的说明方法。人脸面部特征是由人脸面部图像的局部区域的梯度方向直方图的计算和统计才能构成的。这种方向梯度直方图特征提取原理与支持向量机器的分类器结合，在人脸面部表情情绪图像识别中被广泛应用。特别是在人脸面部表情情绪的应用中。并且值得注意的是，2005年法国研究者Dalalal提出了用Hog SVM检测脸部表情和感情的方法 这是也是这种方法的首次出现与应用[13]。

在人脸面部表情图像中，通过梯度方向密度或者边缘方向密度分布程度可以详尽的描绘了局部物体的图像和形状。

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：