摘 要

对于人脸表情识别，以往经典的方法不仅复杂，而且也难以准确地提取人脸的表情特征以及人脸的隐含信息，识别的性能难以提升。本文采用卷积神经网络模型来进行人脸面部表情识别，相对于以往经典的方法能够更好地识别出人脸的表情。为了特征图信息的完整性，本文以转置卷积的方法对特征图进行边缘信息的扩充，而不是用“0”来扩充特征图的边缘信息，这样能够更好地保留特征图的边缘信息以及特征图的完整性。通过自主学习获得的卷积核来扩充边缘信息不仅能够保留了特征图的边缘信息及特征图的完整性，使卷积层更好地提取特征图的特征，同时也增强了模型的非线性。通过实验验证了该方法在fer2013表情数据集上的有效性，该方法能够准确的识别出人脸的表情。

关键字：人脸表情识别；卷积神经网络；转置卷积；特征提取

Abstract

For facial expression recognition, the traditional methods are not only complex, but also difficult to extract facial expression features. Recognition performance is difficult to improve. In this paper, the convolutional neural network model is used for facial expression recognition, which is better than the classical method in the past. For the sake of integrity of the information for feature map, this thesis extends the peripheral information of the feature map by transposing convolution, instead of using the “0” to expand the it of the feature map, which can better preserve the peripheral information of the feature map and the integrity of the feature map. Extending the edge information through the convolution kernel obtained by self-learning can not only preserve the edge information and the integrity of the feature graph, but also make the convolution layer better extract the features of the feature graph, and at the same time enhance the nonlinearity of the model. The effectiveness of this method on the fer2013 expression data set was verified by experiments. This method can accurately recognize facial expressions.

Keyword: facial expression recognition; convolutional neural network;

transposed convolution; feature extraction

目 录

第一章 绪论 1

1.1 面部表情识别的目的及意义 1

1.2 经典研究方法 1

1.3 国内外的研究现状 2

第二章 卷积神经网络 4

2.1 卷积神经网络简介 4

2.2 卷积层 6

2.3 转置卷积层 8

2.4 激活层 9

2.5 池化层 12

2.6 全连接层 13

第三章 数据采集与处理 15

3.1 fer2013人脸表情数据集 15

3.2 数据集存在的问题 16

3.3 数据处理 16

3.4 数据增强 17

第四章 实验方案及分析 18

4.1 面部表情检测方案 18

4.2 训练卷积神经网络模型 19

4.3 测试及分析 22

第五章 总结 27

参考文献 28

附录A 30

致 谢 40

绪论

1.1 面部表情识别的目的及意义

面部表情是人脸面部所表现出来的一种外在状态，同时面部的表情也是其内心心里状态的一张外在反映。是一种由内而生的表达方式，通过一个人的面部表情可推算出内心的状态。在交流中，面部表情也是一种传递信息的方式也是一种最直接的方式之一，即便某一个人没有说话，但通过分析，一切要表达的信息都已经写在脸上。

面部表情也是传播人类情感信息与协调人际关系的重要方式之一^[1]。有些话不用说，看着对方的面部表情就可知道其内心的想法。人的面部表情在交流过程中的角色扮演着不可忽视的角色。

虽然人的相貌形形色色，不同的人的面部表情也不尽相同，但是从人的面部表情里所反映出来的积极或消极的情感变化和过程却出奇的一致，并没有太大的差别，无论是哪个国家或地区的人，在情感方面的内心与外表的反映和变化都是一致的。对于同一种情绪，不同的人所表现出来的表情相似，面部的肌肉的运动状态也几乎相同。

面部表情往往是内心真实状态的外部映射，是一个人内心状态的外部表现，对人的面部表情进行识别具有重大的意义和价值。通过面部表情识别就可以知道此面部表情所对应当时内心的意图，可以对此时其内心状态有进一步的了解，对于人际交流这将有助于如何进行下一步的沟通。

人脸表情识别技术在计算机领域比如计算机视觉具有重大意义。利用计算机来获取人脸的面部表情,计算机通过识别出人的表情信息后就可以做出下一步的准备以应对人将来会做出的反应。人脸表情识别是实现人机交互的关步骤之一，只有准确的识别出人的心里状态，计算机才能做出更合理的反应，才能不断的改善人机交互中存在的问题。目前，人脸表情识别技术已经应用在心理学、教育学、情感计算、生物特征识别、人因工程、自动驾驶等领域。

1.2 经典研究方法

在深度学习技术得到突破性进展之前，人脸的面部表情识别都是采用传统的研究方法，但是这些方法相对于现在的深度学习方法，具有一定的缺陷，在各方面都较现在的深度学习方法存在一些缺点。人的面部表情都是通过人脸的面部肌肉的运动来体现出来的，通过人脸的面部表情的静态图片可以分析此时该表情下面部肌肉的状态以及面部肌肉的纹理，再对这些面部表情的这些局部特征进行研究与分析就可以通过一些方法来识别出人脸的面部表情。因此也研究出了一些基于局部特征来进行人脸面部表情识别的研究方法，其中比较经典的基于局部特征的研究方法有Gabor小波法和LBP算子法等^[2-5]。

面部表情局部变化也会影响到整个脸全局的变化，在研究人脸的面部表情的识别方法时要分析人脸面部表情的局部特征如人脸面部肌肉的运动状态以及纹理的同时也要进行人脸面部表情的全局分析，因此也出现一些从全局上去对人脸的面部表情进行识别的研究算法。这些经典的全局人脸面部表情识别算法有主成分分析法（PCA）、独立分量分析法（ICA）和线性判别分析法（LDA）等^[6-10]。