全文总字数：2548字

1. 研究目的与意义及国内外研究现状

近年来基于视频序列的表情识别逐渐成为计算机视觉领域的热点，究其原因，表情的表达是一个动态的过程，通过单帧图像得到的信息不如通过视频序列得到的信息丰富，且准确率也低于视频序列。

表情识别拥有非常广泛的应用领域，在人机交互、机器人制造、医疗卫生、远程教育等各领域都有它的身影，采用人工智能识别表情可以客观地分析对方的情绪，避免因为个人情绪而对对方情绪产生错误解读，弥补人类精力有限的缺陷，并且可以捕捉到一些肉眼可能会忽略的细微表情。

国内外研究现状

2. 研究的基本内容

基于视频序列表情识别的算法，提出一个拥有良好识别准确率的新模型。首先针对数据库中表情图像包含背景信息和数量不足的问题，采用MTCNN人脸检测算法检测进行人脸检测，并用镜像和旋转的数据增强技术对CK 数据库进行扩充得到1962个序列。在对于人脸表情特征提取的过程中，选用了效果极好的VGG-16网络，并由于使用的CK 数据库只有8种标签，所以需对VGG-16进行微调，将最后一组全连接层减少到8个。对与表情特征的分类，传统的时间网络只能在层与层之间建立联系，而选用的双向循环神经网络建立了层与层以及每层中节点的联系。使用交叉熵函数对网络进行训练，并对CK 数据库采用十折交叉验证。最后，基于上述网络模型、Keras和Tensorflow框架，使用Python语言搭建了一个可以识别图片和视频序列的系统。

3. 实施方案、进度安排及预期效果

实施方案：选用vgg-16网络进行特征提取，针对ck 数据库对网络结构进行微调。对于提取到的序列特征输入到brnn，brnn凭借其能够将现在的输入与前面和未来的输入建立联系，对序列的时间依赖性可以很好地建模。在扩充后的ck＋上进行十折交叉验证测试算法的准确性，将数据集分为10份。搭建人脸表情识别系统，利用keras结合tensorflow深度学习框架训将练好的神经网络的网络结构保存成.json文件，将训练得到的参数保存成.h5文件，用mtcnn的方法进行人脸检测出要跟踪的目标人脸的位置和大小，作为跟踪的第一帧信息，然后用改进的cnn brnn进行面部表情识别，最后结束时，将识别过程中记录的人脸位置大小信息存于txt中，同时也将每一帧的微笑检测结果对应的进行存储，便于后续进一步的统计与分析。

进度安排：2018.11.5~2018.12.6：查阅相关资料，形成基本设计思路，撰写开题报告；2018.12.7~2018.12.15：外文翻译；2018.12.16~2018.12.31：算法研究，构造网络模型；2018.1.1~2019.1.15：制定方案，系统分析与设计；2019.1.15~2019.1.31：软件编程 ；2019.2.12~2019.2.28：完成软件调试，系统测试;2019.3.1~2019.3.10：检查前期成果；2019.3.11~2019.3.31：撰写毕业设计论文;2019.4.1~2019.4.20：审阅修改论文2019.4.21~2019.4.30：准备答辩

4. 参考文献

1.krizhevskya,sutskeveri,hintonge.image netclassificationwithdeepconvolutionalneural networks[c]//internationalconferenceon neuralinformationprocessingsystems.curranassociatesinc. 2012:1097-1105.

2.khorramip,painet,huangt.dodeepneuralnetworkslearn facial actionunitswhendoing expressionrecognition[c]//proceedingsofthe ieeeinternationalconferenceoncomputervision workshops. 2015: 19-27.

3.万川．基于动态序列图像的人脸表情识别系统理论与方法研究［d］．吉林：吉林大学，2013．4.邱玉，赵杰燈，汪燕芳．结合运动时序性的人脸表情识别方法［j］．电子学报，2016，44（6）：1307－1313．