基于脑电信号和迁移学习的情感计算文献综述
2020-04-30 16:12:19
1.1课题研究目的及意义
情感计算是综合了神经科学、心理学、计算机科学等领域的交叉学科研究课题,它以人类情绪和情感理论为基础,旨在通过赋予计算系统识别、理解、表达人的情感的能力,使计算机具有更高的、更全面的智能。随着脑科学和心理学的发展,情感计算已经逐渐被人们所重视[1],现已成为人工智能领域的热门重点和重大突破。
情绪识别是情感计算的基础和关键,通过对情绪的定量描述和空间建模是表达情感的一种有效方式[2]。总体来说情绪是综合了人的感觉、思想和行为的一种心理和生理状态[3]。在日常生活中,情绪的作用无处不在。在医疗领域,对于那些患有语言或行动障碍的人来说,通过计算机了解其情绪状态,有助于提高护理质量[4];在产品开发过程中,依据使用者对产品的外形、认可度、使用价值的神经感知,识别出用户的情绪状态,就可以相应设计出更适合用户需求的产品[5];在驾驶安全方面,飞机、火车、卡车等驾驶员的情绪状态和专注度关乎交通安全,通过情绪识别可以有效监控司机驾驶时过度激动或过于疲劳状态,从而大大减少事故的发生[6];在游戏领域,通过了解用户参与过程中的情感,可实现更好互动体验效果;同样的,在高级人—机交互系统中[7],基于计算机技术的情绪识别起到了非常关键的作用。
1.2国内外研究现状
近几年研究者们尝试了各种方法和技术来识别用户的情感,主要有:面部表情识别、自然语言处理、人体生理信号识别、多模情感识别、语音识别。按照是否包含生理信号可为两大类:基于非生理信号的识别和基于生理信号的识别。基于非生理信号的识别主要包括对面部表情和语调的识别。但是,由于面部表情和语调都可以刻意隐藏,而且有些人在这方面可能会存在表达上的障碍,所以,这类情绪识别方法并不完全可靠。而基于生理信号的识别是指对心电信号ECG、脑电信号EEG、皮肤电信号GSR、血流量脉冲信号BVP、肌电信号EMG等的监测来获得情绪状态,其中,基于脑电的识别方法是一种常用且有效的情感识别方式。基于脑电信号的情感识别因其可信度相对较高、识别精度较高、适应性强等特点,成为了常用的情感识别方式之一。
目前,国内外在基于脑电信号(Electroencephalogram,EEG)的情感识别领域都有了一定的研究进展。Matsusaki F等[8] 在预处理中利用独立成分分析把信号分离成独立的非高斯的信号源的线性组合,可有效的消除眼动伪迹,得到纯净的脑电信号。Mohammadi Z等[9]将离散小波变换应用到脑电信号分析中,将原信号分解到θ、α、β、γ子频段上,并计算了小波能量、小波熵、统计特征等,发现高频信号识别效果较好。Coan J A等[10]实验发现积极情绪与左前额大脑活动相关,而消极情绪与右前额大脑活动有关,表明在识别积极和消极情绪时大脑前方的电极更重要。Siddiqi S M等[11]发现将LDS线性动力系统对提取到的特征信号上,可有效去除与情绪无关的噪声。曹静[12]提出了一种基于最大相关最小冗余的特征选择算法mRMR,可有效降低特征提取后存在的大量不相关冗余特征,提高分类精度。Islam M等[13]将共同空间模式应用到特征选择上,相比于其他特征选择算法,CSP将原信号分解为两个方差最大的子信号,并在特征选择的同时实现了对特征的滤波。聂聃等[14]分析了用脑电做情感识别的现状,并指出消除个体差异性,增强模型在不同用户、时间段的泛化能力,是亟需解决的具有挑战性的问题。
由此可见,基于脑电信号做情感识别目前面临个体差异过大,源域和目标域的边缘分布概率不同等困境。关于此问题,近年来一种新的迁移学习理论受到了广泛关注,其目标是从辅助数据或者模型中寻找有效信息,以加快训练样本校准或者新模型的训练 [15-16] 。Wu D [17] 提出了一种解决脑电信号差异性的迁移学习算法wARSDS,采用辅助数据为新的用户校准,减少了应用时标签校准的工作量。这些研究表明,对于基于脑电信号做情感识别在应用中面临的个体差异性问题可通过迁移学习来解决。比如先在公开的脑电数据库DEAP [18]上训练模型,然后采用迁移学习算法将模型迁移到其他用户上,对于基于脑电信号的情感计算走向实际应用具有重要意义。
{title}2. 研究的基本内容与方案
{title}2.1主要研究内容及目标如下:
(1)在目前公开的脑电数据库上,进行脑电信号的分析和预处理;
(2)尝试不同的特征提取和降维算法,总结最佳的频段、通道、特征;