摘 要

随着互联网时代的发展，计算机已经可以准确地利用自然语言实现人机交互，但是，通过图像识别人脸信息的能力还有待提高。特别地，由于器材的限制或外界环境的干扰，得到的人脸图像也往往不够清晰。因此，如何利用现有的条件进行准确的人脸表情识别成为了现在机器学习界一个热点问题。本文利用近年来流行的深度学习框架，提出了一个改进的具有集成DBN结构的表情识别算法，尝试解决人脸表情识别问题。

区别于单个DBN结构，本文提出的算法先将整张人脸图像分割为多个图像子块，分别训练多个DBN，然后在每个DBN输出层上加一层Fisher分类器，组合成一个弱分类器，再用Adaboost将这些弱分类器串联起来，构造出一个强分类器。随后，本文提出了一种特别的反向调整算法，联合微调各个弱分类器的参数，不断迭代，得到最终的强分类器。

本文的主要创新点在于：以往的研究大多是将整张图片作为深度学习的输入，而本文的算法是将图像子块作为输入，这能迫使分类器更加关注局部信息；同时，该改进算法将特征学习、特征提取和分类器构造集中在一个框架内，这使得分类结果能够反向指导特征的提取和选择。

我们基于CK 数据库对提出的算法进行了实验，结果表明，改进算法的识别率达到了89%，基本符合预期的要求。特别地，经过分析，该算法抗噪声干扰的性能很强，这有利于解决图像质量不佳的问题。

关键词：表情识别；深度学习；集成DBN；Adaboost；抗噪声性能

Abstract

With the development of the Internet, the computer has been able to accurately use the natural language to achieve human-computer interaction, but its ability to identify information by images needs to be improved. In particular, due to the limitations of the equipment or the interference of the external environment, the face images are often not clear enough. Therefore, how to use the existing conditions for accurate facial expression recognition has become a hot topic in the machine learning industry. Based on the popular deep learning framework in recent years, this paper proposes an improved expression recognition algorithm with integrated DBN structure, managing to solve the problem of facial expression recognition.

Different from a single DBN structure, the algorithm proposed in this paper divides the whole face image into multiple image sub-blocks, training multiple DBNs respectively, and then adds a layer of Fisher classifier to each DBN output layer, constituting a number of weak classifier. Then we connect these weak classifiers in series with Adaboost, constructing a strong classifier. Finally, this paper presents a special inverse adjustment algorithm, which combines the parameters of each weak classifier to iterate and obtain the final strong classifier.

The main innovation of this paper is that most of the previous researches use the whole picture as input, and this algorithm uses the image sub-block as input, which can force the classifier to pay more attention to local information. Meanwhile, feature learning, feature extraction and classifier construction are concentrated in a framework, which makes the classification results reverse the extraction and selection of features.

Based on CK database, we have experimented with the proposed algorithm. The results show that the recognition rate of the improved algorithm is 89%, which is in accordance with the expected requirements. In particular, the algorithm has strong performance against noise interference, which is helpful to solve the problem of poor image quality.

Keywords Facial Expression Recognition; Deep Learning; Integrated DBN Structure; Adaboost; Noise Interference

目 录

第1章 绪论 1

1.1 研究的背景和意义 1

1.2 人脸表情识别国内外研究现状 1

1.3 表情识别算法的总体设计 2

1.4 工作准备 2

1.5 本文的内容安排 3

第2章 人脸表情及VJ人脸检测器 4

2.1 人脸表情 4

2.2 VJ人脸检测器 5

第3章 深度学习的基本框架 9

3.1 深度信念神经网络（DBN） 9

3.2 Fisher线性判别法 13

3.3 反向传播算法（BP） 17

3.4 单个DBN模型的不足与改进 20

第4章 基于集成DBN的表情识别 22

4.1 集成DBN 22

4.2 训练过程及算法步骤 23

4.3 基于改进算法的表情识别 27

第5章 总结与展望 33

5.1 工作总结与创新点 33

5.2 不足与以后工作的展望 33

参考文献 34

附录 36

致谢 49

第1章 绪论

1.1 研究的背景和意义

人类的语言主要包括两种形式：自然语言和形体语言^[1]。作为形体语言的一部分，面部表情是人际交往中的一种重要表达方式。有时候，人们可以在言语上隐藏自己真实的情绪体验，但是人们的表情往往无法隐藏，因此，人的表情比言语更能反映出真实的情绪体验。研究发现，在人际交往传递的信息中，言语内容约占7%，说话的语音语调约占38%，而说话人的表情却达到了55%，事实证明，表情在人类交往中具有至关重要的作用。

研究人脸表情识别的理论意义在于，如果计算机能够像人类那样理解和表达情感，这将从根本上改变人机关系，使计算机更好的服务人类。另外，人脸表情识别研究的发展也将推动心理学、生理学等相关学科的研究。在人机交互领域，机器人将不仅通过语言文字和人类进行交流，而是可以通过观察人类的表情、肌肉运动等面部信息，判断人类传达的隐含信息，完成更加准确的理解和决策。这也是未来物联网时代的大势所趋。

1.2 人脸表情识别国内外研究现状

人脸表情识别的研究开始于上世纪70年代。1978年，Suwa和Sugie等人通过追踪一段脸部视频，得到了每帧图片上，事先标注好的20个关键点的运动轨迹，并将该运动轨迹，与预先设立好的不同表情对应点的运动轨迹模型对比，进行表情识别分析，这也是人们对于人脸表情识别的最初尝试^[2]。