1.1 研究目的及意义

面部表情是人们面对面交流过程中非常重要的一种信息，它是人类情感、心理状态等多种因素复合而成的一种表达形式，是人类进行情感交流的重要方式。面部表情识别（Facial expression recognition，FER），即通过计算机对人类的面部表情信息进行提取并按照人的认识和思维方式进行归类和理解，进而分析出人的情绪，是计算机视觉中最重要的任务之一，它在心理学，医学，安全，娱乐和交通等众多应用中起着至关重要的作用。例如，在汽车、飞机等交通工具的监控系统中，通过传感设备对司机或飞行员进行面部监控，通过其表情的痛苦或不适分析得到其可能存在疲劳或身体不适等情况，及时报警提示，避免事故发生。实现计算机对人脸表情的分析与识别将从根本上改变人与计算机之间的关系，对于实现自然和谐的人机交互具有重要的意义。

过去，由于移动终端设备的相机分辨率、运行内存和处理器等硬件设备等原因，人脸表情识别在移动端并未能得到良好的表现。如今，随着技术日新月异，移动终端设备的拍照像素基本上已经达到了普通单反相机的水平，再加上内存和处理器等设备也取得了巨大的进步，使得在移动终端设备上的人脸表情识别研究成为了当前计算机视觉研究的一个重点方向。

本课题旨在提出一种有效、自动的人脸表情识别方法，重点完成人脸表情特征的提取与分类，实现一个基于安卓平台的人脸表情分析系统。本课题创新性的提出了结合2D和3D人脸表情特征进行表情分类，来提高人脸表情识别在安卓平台上的识别率。

1.2 研究现状

国际上对人脸表情的研究可分为心理学和计算机两类。早在1872 年，生物学家达尔文所做的心理实验阐述了人的面部表情和动物的面部表情之间的联系和区别。1971年美国心理学家Ekman和Friesen开创性的将表情分为六个基本类别: 高兴、悲伤、恐惧、厌恶、愤怒和惊讶^[1]，并于1978 年开发了面部动作编码系统(Facial Action coding system ,FACS)^[2]，以此来检测面部表情的细微变化，说明了与无表情人脸特征相比，这六种表情的人脸特征具有相对独特的肌肉运动规律。后来大多数学者的研究都是建立在FACS系统的基础上的。

在计算机方面，1978 年，Suwa等人最初对表情识别做了尝试的^[3]。他们对选定的连续图像序列中脸部固定的20个点进行跟踪,并通过与Prototypepatterms进行比较来实现识别。同年，Terzopoulous和Waters运用了简化的Ekman-Friesen 模型，做了人脸视频序列的表情分析^[4]。到1981年有学者从肌肉角度的观点出发，用仿生学方法为面部表情建立模型。1991年，A.Pentland 和 K.Mase^[5]提出一个新的理论，利用光流法来识别人脸面部表情,开启了人脸表情自动识别的新篇章。

到目前为止，人脸表情识别已经经过了四十多年的发展。尤其是近些年来，随着计算机软件技术的发展和硬件性能的提高，它更成为一个热门的研究课题，每年都涌现了许多性能良好的特征提取算法和识别分类方法, 并在公开的表情数据库上取得很好的识别率，在国际权威会议ICCV（International Comference on Computer Vision）、CVPR（International Conference on ComputerVision and Pattern Recogintion）和ECCV（Europeon Conference on Computer Vision）等上均有大量相关学术成果发表。

目前，国内外的人脸表情识别的方法大致可以分为五类：基于几何特征提取的方法、基于统计特征提取的方法、基于频率域特征提取的方法、基于运动和形变特征提取的方法以及基于模型的方法。