一、人脸表情识别

人脸表情识别是人机自然交互、 计算机视觉、 情感计算和图像处理等研究的一个热点课题， 在人机交互、 远程教育、 安全领域、 智能机器人研制、 医疗领域、 电脑游戏等领域有着广泛的应用。 如果计算机也能够象人类那样具有理解和表达情感的能力， 自主适应环境， 将从根本上改变人与计算机之间的关系， 使计算机能够更好地为人类服务。 这也正是研究人脸表情识别并赋予计算机具有情感理解和情感表达课题的重要意义。

1.人脸检测

要实现人脸表情的识别，首先要对人脸进行检测，人脸检测与定位是人脸表情识别的首要解决的问题, 分为简单背景下的人脸检测和复杂背景下的人脸检测。在研究初期所用的数据库都是简单背景下的人脸图像, 即人脸与背景差别较大, 且为正面人脸图像 ;当然后者更具有实用价值和理论研究价值, 要能够处理复杂背景下人脸实时检测并且对脸部遮盖(如头发、帽子、眼镜等对脸部的遮盖)、年龄、表情、种族等带来的影响具鲁棒性, 同时还要解决光照不均以及人脸旋转的问题。常用的人脸检测方法有:基于主元分析的人脸检测、基于纹理和肤色的人脸检测、基于可变形模板的人脸检测 、基于神经网络的人脸检测等。

2.图像预处理

在完成人脸图像的检测与定位后 , 为了方便后续处理, 必须对图像进行归一化处理 。图像归一化处理包括几何归一化和灰度归一化。几何归一化是指根据人脸定位的结果将图像中人脸变换到同一个位置和同样的大小。在这个过程中, 要对图像进行旋转,保证人脸方向的一致性,体现了人脸在图像平面内的旋转不变性 ;还要对图像进行剪裁 ,保证人脸位置的一致性 ,体现了人脸在图像平面内的平移不变性;同时也要对图像进行缩小或放大,保证人脸大小的一致性, 体现了人脸在图像平面内的尺度不变性 。灰度归一化是指对图像进行灰度拉伸 ,以改善图像的对比度,并进行光照补偿处理 ,以克服光照的变化 ,从而得到更适合计算机处理的图像 。在这个过程当中,可以采用直方图均衡化和直方图规定化直方图均衡化可以增强图像整体对比度;直方图规定化是对直方图均衡化的补充和改进。当然图像的预处理还有图像去噪 、边缘提取等 。

3.图像特征提取

表情图像经过归一化后 , 就可以进行特征提取与选择 。特征形成过程得到的原始特征可能很多 ,如果把所有的原始特征都作为分类特征送往分类器,不仅使得分类器复杂 , 分类计算判别量大, 而且分类错误率也不一定小 , 因此需要减少特征数目 。减少特征数目的方法有两种, 一种是特征选择 ,即从一组特征中选出一些最有效的特征以达到降低特征空间维数的目的 ;另一种是特征提取,即人脸表情特征提取通过映射(或变换)的方法把高维空间的原始特征向量变换为低维空间的特征向量。映射后的特征叫二次特征, 它们是原始特征的某种组合(通常是线性组合)。人脸表情图像的特征提取需要对人脸的器官特征 、纹理区域和预定义的特征点进行定位和提取,要想获得较高的正确识别率,这一环节是很关键的 ,因此特征提取具有减少运算量和加快运算速度的作用。由于人脸图像具有信息量大和模式复杂等性质, 图像降维和去相关变换如 PCA 、ICA 、小波分析 、几何特征、光流分析等方法得到广泛应用 。

4.图像识别

表情识别是将一幅表情图像或一组图像序列 ,与训练集中的多个表情图像模板做比较, 找出最相似的表情图像模板 ,将该模板所代表的类名作为输入表情图像的类名输出。表情识别算法要能够对人脸表情进行分类, 常用的有各种距离分类、神经网络、隐马尔可夫模型(HMM)等分类方法。