基于Python的人脸表情分类文献综述
2020-06-30 21:20:56
毕 业 设 计(论 文)开 题 报 告
1.结合毕业设计(论文)课题情况,根据所查阅的文献资料,每人撰写 2000字左右的文献综述: |
|
文 献 综 述 1.引言 科技的不断发展,人工智能的研究已经达到了很高的水平,然而,它的研究目的只是在于模拟人的智能, 如判断、推理、证明等思维活动。人工心理理论[1]则是利用信息科学的方法,对人的心理活动的更全面内容的再一次人工机器(计算机、模型算法等)实现。人工心理理论在机器人的技术支持、基于PLC的人工智能产品[2,3]、人性化商品设计、人机和谐多通道接口有着很大的作用。在本文中我们采用人脸表情进行识别,通过计算机对数据的处理得知人们的内心活动。计算机和机器人如果能够象人类那样具有理解和表达情感的能力, 并能够自主适应环境, 这将从根本上改变人与计算机之间的关系, 使计算机能够更好的为人类服务。 2.数据库的建立 多数的情感分析基于Ekman[4]的研究,在实验过程中首先确定数据库中应该收集哪些样本,样本之间有些什么差异,怎么分类。在本次实验中对人脸表情研究的问题空间,在数据库中将考虑该问题空间的如下几个因素:描述的层次,拍摄的角度,个体的差异。其中最重要的是确定描述层次。人脸表情有很多种描述方法,PIE数据库按光照[5]、姿态和表情来描述样本。Cohn-kanade人脸表情数据库按照动作单元描述样本。在该数据库中,将表情分类为情感类表情和说话类表情。在本文中研究情感类表情。摄像机的光照和拍摄角度以及摄像机硬件的配置需要一定的要求。同时摄像机需要从三个不同的角度对同一表情进行拍摄,再经过摄像机的内外标定得取投影之后的数据进行储存(排除一些误差较大的数据)[6]。 数据库选取有4种方法:第一个数据库是Cohn-Kanade AU[7]编码的人脸表情数据库。在图像分析和合成方面有很大作用。它将每个序列的目标表达式都完全由FACS编码。并将已验证的情感标签已添加到元数据中。 因此,可以对动作单元和原型情绪进行序列分析。 第二个数据库是来自慕尼黑技术大学的带有面部表情和情绪的FEED数据库,数据库中定义了六种不同的基本情绪[8]。从不同的人选取不同的表情并记录。总而言之,这给出了399个序列的数量。 第三个数据库是OuluCASIA面部表情数据库[9]。这个数据库是由奥卢大学机器视觉小组开发的,该小组由来自不同年龄的六个典型表情(惊喜,快乐,悲伤,愤怒,恐惧和厌恶)组成。要求受试者根据给定序列中所示的表达实例(活动的面部表情)进行面部表情。最后,第四个数据库是RMLemotion数据库,从媒体实验室收集的60个(每个情绪十个)自发视听情绪表达样本[10]。表达了六种基本的人类情感:愤怒,厌恶,恐惧,幸福,悲伤,惊奇。RML情绪数据库适用于基于音频,基于静态图像以及基于视频的二维和三维动态分析和识别。 3.人脸识别原理 识别的方法有多种,其中存在映射方法[11],但不是经常使用。对于采集下来的图像进行解析,将人的脸部分为多部分区域,并将多种区域中划分成多个点[12],分别对微笑、悲伤、惊恐等六种基础表情做解析,检测眼部、鼻子、眉毛、嘴巴、练的轮廓对表情的影响大小,通过信噪比SNR的大小进行排序,选取最优的位置对表情进行解析。通过对人脸表情的采样,将其数据投影与数据库的数据中,进行比较和归一化处理,通过协方差和平均值等计算出估计值误差,再通过运用优化技术得出最优结果。实验过程中,采集一个人的静态表情,并将其化为几十个点,投影与数据库的数据,计算机通过一定的算法得以偏差和平均值,并确定数据的合理性。根据SNR的优先顺序[13]对几十个点进行分析,从而得以最优的数据结果。以上所得结果用于Python软件的实现,Python软件的设计优雅、明确、简单,同时语法清楚、易读、易维护便于我们使用。 4.总结与展望 过去对人脸研究主要集中于人脸识别。 虽然表情识别与人脸识别密切相关(例如在人脸检测与定位、人脸跟踪这些环节上是一致的)但特征提取方法和研究的主要对象有很大区别:人脸识别提取的特征是不同人脸的个体差异(特性), 面部表情作为干扰信号存在;而表情识别是忽略个体差异, 提取人脸在不同表情模式下的差异特征, 人脸个体差异成为干扰信号。人脸表情识别是一个跨学科富挑战性的前沿课题, 但目前还只是研究课题尚没有进入实用化的领域。 人脸表情识别难度较大, 主要难在人脸都是塑性变形体,因此人脸表情不能用经典的几何模型来进行识别分类 , 更适合用弹性模型来描述。 本文计算方法有优势也有劣势, 当前的发展来看采用三维动态和二维静态的混合法[14]是进一步提高识别率的最有效的途径, 这也恰恰符合了人脸表情识别的神经学特性。在信息融合的的发展过程中,人脸表情识别会有很大优势与市场,对生理学和心理学结合[15]对人脸表情的研究很有帮助。目前的计算机体系结构的特长是数值计算, 应该充分发挥它的计算能力。 5.参考文献 [1] 王志良,”人工心理学-关于更接近人脑工作模式的科学” ,《北京科技大学学报》 , 22(5)2000, pp.478~ 483. [2] 黄双,邓焕明.PLC与工厂自动化技术的展望综述[J].可编程控制器与工厂自动化,2012(04):27-30. [3] 魏海波,孙清,张君薇,林喆.基于PLC 和交流伺服系统控制的自动生产线输送系统[J].工业控制计算机机.2011(07):81-82. [4] Ekman P (2007) Emotions revealed: recognizing faces and feelings to improve communication and emotional life, 2nd edn. Owl Books, New York [5] Sim T,Baker S,Bsat M.The CMU Pose,Illumination,and Expression (PIE)database[C].In:Proceedings of Automatic Face and Gesture Recognition,ashington,DC,USA,2002:53~58 [6] Dana H Ballard,Christopher M Brown.Computer vision[M].Prentice Hall,Inc,1982 [7] Lucey P, Cohn J, Kanade T, Saragih J, Ambadar Z, Matthews I (2010) The extended Cohn-Kanade dataset (CK ): A complete dataset for action unit and emotion-speci#64257;ed expression. In: IEEE computer society conference on computer vision and pattern recognition workshops (CVPRW), pp 94#8211;101 [8] Wallhoff F (2006) Database with facial expressions and emotions from Technical University of Munich (FEEDTUM). http://www. mmk.ei.tum.de/~waf/fgnet/feedtum.html [9] Zhao G, Huang X, Taini M, Li SZ, Pietikauml;inen M (2011) Facial expression recognition from near-infrared videos. Image Vis Com- put 29(9):607#8211;619. [10] Wang Y, Guan L (2008) Recognizing human emotional state from audiovisual signals. IEEE Trans Multimed 10(4):659#8211;668 [11] 任成娟.基于改进的子模式局部保持映射人脸识别方法[J].电测与仪表2013(1):112-116. [12] 闫奕名;张晔.基于多面化分解模型的目标信息获取优化技术[J].华南理工大学学报(自然科学版).2012.40(3):100-105. [13] AlvarezM, LuengoD, LawrenceN(2013) Linear latent forcemod-els using Gaussian processes. IEEE Trans Pattern AnalMach Intell 35(11):2693#8211;2705. https://doi.org/10.1109/TPAMI.2013.86 [14] Rudovic O, Pantic M, Patras I (2013) Coupled Gaussian processes for pose-invariant facial expression recognition. IEEE Trans Pattern Anal Mach Intell 35(6):1357#8211;1369 [15] Zeng Z, Pantic M, Roisman G, Huang T (2009) A survey of affect recognition methods: audio, visual and spontaneous expressions. IEEE Trans Pattern Anal Mach Intell 31(1):39#8211;58
|
|
毕 业 设 计(论 文)开 题 报 告