论文总字数：23136字

摘 要

生物体内的许多神经元通过树突和轴突的连接构成网络，它有着学习能力，基于这一原理诞生了人工神经网络，对人脑中神经系统进行模拟，作为一种仿生操作，建立起了与外界信息交流互通的一个数学模型。深度学习又是在人工神经网络的基础上进一步提出的概念，近几年，深度学习在图像识别，无人驾驶，语音识别和医学影像中有着大量的应用。卷积神经网络在提取特征方面效果显著，它的结构特殊，以其独有的类似扫描器的卷积核结构对输入图像数据进行处理，同时凭借池化层的采样筛选操作减少了参数的数量且提高了模型鲁棒性，同时抑制了过拟合作用。本文借助Pytorch深度学习框架，通过深度卷积神经网络识别面部表情特征，利用改进后模型对国外两种常用的数据集^[40]中的人脸特征进行捕获，训练模型得出了不同的准确率，进而判断现有方法的优劣。研究结果表明：在FER2013数据集上模型的准确率均达到了70%以上，且应用了Softmax激活函数的模型效果要比加入SVM的效果好，而在CK 数据集上准确率超过了94%。在伤心，难过等表情下准确率较低，区分度较低，目前本设计未采用多模型集成，此方法会使准确率有所提升。

关键词：卷积神经网络；深度学习；人脸表情识别；

Abstract

Many neurons in the organism form a network through the connection of dendrites and axons. It has the ability of learning. Based on this principle, an artificial neural network was born to simulate the neural system in the human brain. As a bionic operation, a mathematical model for the exchange of information with the outside world was established. In recent years, deep learning has been widely used in image recognition, driverless, speech recognition and medical image. The convolution neural network has a remarkable effect in feature extraction. It has a special structure. It processes the input image data with its unique convolution kernel structure similar to the scanner. At the same time, it reduces the number of parameters and improves the robustness of the model with the sampling and filtering operation of the pooling layer, and at the same time, it suppresses the over fitting effect. In this paper, with the help of the python deep learning framework, facial expression features are recognized by the deep convolution neural network. The improved model is used to capture the facial features of two kinds of commonly used data sets in foreign countries. The training model obtains different accuracy, and then judges the advantages and disadvantages of the existing methods. The results show that the accuracy of the model in fer2013 data set is over 70%, and the effect of using softmax activation function is better than adding SVM, and the accuracy in CK data set is over 94%. At present, this design does not use multi model integration, this method will improve the accuracy.

Key words: convolutional neural network; deep learning; facial expression recognition;

目录

第1章 绪论 1

1.1 课题研究背景与意义 1

1.2 国内外研究现状 2

1.2.1国外研究现状 2

1.2.2国内研究现状 3

1.3 研究内容及预期目标 3

1.3.1 研究内容 3

1.3.2 研究预期目标 3

1.4 本文章节安排 3

第2章 基础理论介绍 5

2.1人工神经网络 5

2.1.1人工神经网络发展历史 5

2.1.2人工神经网络概述 5

2.2 深度神经网络概述 6

2.2.1欠拟合与过拟合 6

2.2.2前向传播过程和反向传播过程 7

2.2.3损失函数和优化函数 7

2.2.4激活函数 9

2.3 Python语言及Pytorch框架介绍 11

2.3.1 Python语言简述 11

2.3.2 Pytorch框架介绍 11

第3章 卷积神经网络及其模型 12

3.1卷积神经网络基础 12

3.1.1卷积神经网络原理 12

3.1.2卷积神经网络结构 12

3.2卷积神经网络模型 14

3.2.1 LeNet模型 14

3.2.2 AlexNet模型 15

3.2.3 ResNet模型 15

第4章 实验准备和设计 17

4.1数据集介绍及处理 17

4.1.1数据集介绍 17

4.1.2数据集处理 17

4.2模型与损失函数设计 18

4.2.1模型设计 18

4.2.2损失函数的选择与设计 19

第5章 实验结果分析及讨论 20

5.1 不同数据集上的实验结果 20

5.2 CK 数据集的十倍切割测试 23

5.3 已有模型的可视化测试 27

5.4 经典与主流方法比对 30

第6章 总结与展望 32

6.1 总结 32

6.2 展望 32

参考文献 33

致谢 36

第1章 绪论

1.1 课题研究背景与意义

图像识别^[1]是人们的社会生活中一项重要的技术，通过外部设备与计算机提取图片中的重要特征并进行识别。特征提取是图像识别中最为关键的一个步骤，当茫茫多的图片数据输入后，这些像素级别的输入信号是十分浅层的，对于这些图片来说，分类器对他们的判别都是0或者1，无法做出更高层的判断了。所以要从这些图片中提取出有用的部分也就是特征。图像的特征多种多样，包括形状边缘特征和纹理特征等等，提取特征的方法也是多种多样的，最传统的方法莫过于主成分提取（Pnncipal Component Analysis，PCA^[2]）和线性鉴别分析（Linear Discriminant Analysis，LDA^[3]）等。在日常生活中，表情识别是一个很重要的能力，人们交往中可通过它判断一个人的情绪变化进而合理处理人际关系。著名心理学者Mehrabian^[30]研究表明，人们交往传递的信息，有7%的语言，38%的声音，剩余55%^[23]则全为表情信息，所以对于人脸表情的研究就尤为重要的。生物特征识别^[4-6]是指人类通过生物体的独特特征，对表达动物或人类的身份的或生理或行为方面的特征进行识别验证并得出结论的一种技术，这些生理特征是伴随人之出生而与生俱来的，像是面部特征，语速，音色等等，它们反映出了个体有别于其他个体的重要特征，体现了每个个体的特色。基于这种特性，出现了多种多样的识别技术，诸如人脸识别、指纹识别、掌纹识别等，其中人脸识别是人们用来互相熟知确认身份的重要方式，人脸识别技术的优点^[7-9]众多，具体可包括如下几点：

1. 非接触性：用户获取人脸信息无需和外部设备直接接触，相较于诸如指纹识别等其他识别更具有安全性和卫生性。
2. 直观性：人脸信息具有较好的直观特性且不易发生过大改变，当要验证身份时，工作人员往往会保留被识别者的不易被改变且直观的信息留作以后的核对，此时人脸相对于指纹虹膜等信息就显得很有优势，直观且不易发生突变。
3. 非强制性：用户的面部特征可以在人无意识中被捕获，不会让人感到厌恶。
4. 简易性：通常的人脸识别系统多数采用摄像方式捕获人脸特征，对摄像设备配置要求并没有太高，手机这种十分常见的设备也可以应用且不用另外任何设备的额外支持。并且摄像设备的位置放置自由多变，减少了恶意破坏的可能。

如今，在计算机和通信等技术的不断进步下，社会对于自动化越发依赖，人们对于图片视频等项目的需求也大大提升。大量的知名公司诸如苹果，Facebook和谷歌等都在此方面投入大量资金研究面部特征与感情的联系，并通过计算机分析，交互实现智能化。

人脸表情识别^[10]在生活中应用场合众多：

1. 在人机交互中，可以通过表情，动作等来控制计算机，外设，按规定程序实现目标功能。如真实虚拟游戏
2. 在侦探案件时，可通过识别犯罪嫌疑人的面部表情，判断他是否有撒谎等内心活动，从而更好得到事件真相。
3. 在安全驾驶上，可通过识别司机的面部表情获取他的精神状况，可有效预防疲劳驾驶^[24]，规避危险事件的风险。
4. 在医学方面，可通过识别患者的面部表情，判断其疼痛的部位及程度，在患者危机时及时救治。
5. 在门禁系统设计中，通过人脸识别技术判断来者的身份，判断其是否符合通过的资格。诸如火车站的入站口现在很多采用了人脸识别进站，即快速直观也减低了人工成本。

从以上分析只可得到，人脸识别的研究有着很大的发展前景和现实意义，这项技术的研究虽然已经有了超过50年的历史，学者们在这期间不断提出很多优秀的识别算法，但人脸识别依旧面临严峻的挑战，当图片的核心特征被部分遮挡，光线较暗，表情姿势等问题出现后，依然会对实验结果产生很大的影响。近些年卷积神经网络^[17-18]算法对这些影响干扰具有较好的稳定性，所以卷积神经网络在表情识别领域具有重要的意义。

1.2 国内外研究现状

1.2.1国外研究现状

十九世纪时，国外研究者就提出了对于人脸表情的研究，著名生物学家达尔文的著作《人类和动物的表情》指出了人脸和动物表情的联系和区别并阐述了表情的进化过程^[11]。二十世纪七十年代初期，Ekman和Friesen^[12]建立了人脸表情数据集，其中含有六种人脸面部表情分别为：开心、生气、惊讶、害怕、厌恶和伤心。

请支付后下载全文，论文总字数：23136字