语音情感的维度特征提取方法的研究开题报告
2022-11-24 20:54:54
1. 研究目的与意义
情感在人与人之间的交流中起到了至关重要的作用,它是人类相互理解、协调合作的重要基础。目前对情感的研究,受到了来自多个学科领域的研究者们广泛的重视。在人工智能中,情感计算被认为是赋予计算机更高的、全面的智能的一个关键途径。语音情感特征的提取大多集中在唤醒度对应的韵律特征上,例如基音频率、短时能量、语速等等。采用韵律特征在情感表达强烈的语音数据上获得较好的识别效果,这是由于情感表达强烈的语音在唤醒度上差异较大。而效价度上的特征目前越来越受到人们的重视,谐波噪声比特征被用于烦躁等实用语音情感的研究中,获得了较好的效果。本设计将主要解决语音情感识别中维度特征提取的设计问题,完成并分析不同情感的识别率。
2. 课题关键问题和重难点
典型的语音情感识别系统主要包括情感特征的提取、识别,其中情感特征提取的好坏直接影响情感识别的正确率,由于语音信号的声学特性复杂多样化,因此,正确地从语音信号中找出可体现情感差异的特征参数并且准确地将其提取出来,直接关系到后续情感识别的效果。目前针对语音情感特征提取的方法众多,对于不同的特征,提取方法也有所不同,研究人员利用传统声学语音情感特征提取方法提取个性化和非个性化语音特征,然后通过基于导数的非个性语音情感特征提取方法补充了非个性化语音特征。目前一些研究人员对语音情感特征中相关参数的研究结果表明:语音信号中某些特定的参数和相应情感状态有着明显的联系,基频相关、共振峰相关以及频率相关的语音情感特征是目前研究者公认的对语音情感识别具有较大贡献的情感特征,此外,也有较多研究文献对非线性特征参数进行研究,并取得了优于线性特征的研究成果,本次将分别从基频、共振峰、MFCC特征、非个性化特征、TEO算子特征、基于深度学习的特征的来研究提取方法。
3. 国内外研究现状(文献综述)
随着计算机技术的迅速发展,以其为载体的人工智能研究也日新月异,计算机系统如何能够履行,
仅依靠人类大脑才能够完成的任务,成为人工智能的重点研究内容,结合多媒体信息感知、情感识别、智能机器等技术,人工智能的最新研究成果也不断地应用于交通、教育、医疗等领域中,而情感是智能的一部分,它是一种特殊的智能,因此,计算机在实现智能的同时,也应具有识别、理解和表达人类的情感的能力,自从教授提出情感计算的概念以来,情感计算引起了国内外研究者的广泛关注,情感计算是一门涉及认知科学,心理科学等领域的高度综合化研究领域,致力于研究机器的情感智能,赋予机器人识别、理解、表达和适应人的情感的能力,其中,情感识别是情感计算的关键内容。根据情感信息来源的不同,情感识别可分为情感语音、人脸表情、姿势和生理信号等情感信息的识别。
对语音情感识别的最早研究始于20世纪80年代,研究者利用声学特征的一些统计规律对语音中的情感进行研究。虽然近年来在语音情感识别上取得了不少新的研究成果,但仍然有很多问题和困难需要多个领域的研究者们共同努力来解决。过去对语音情感特征的提取大多集中在唤醒度对应的韵律特征上,例如基音频率、短时能量、语速等等。采用韵律特征在情感表达强烈的语音数据上获得较好的识别效果,这是由于情感表达强烈的语音在唤醒度上差异较大,而效价度上的特征目前越来越受到人们的重视,谐波噪声比特征被用于烦躁等实用语音情感的研究中,yang和lugger将新发现的谐波特征用于语音情感识别中获得了较好的效果。clavel等人在对恐惧情感的识别中采用了一系列的频谱能量特征,通过特征选择研究认为这些频谱特征对识别恐惧情感有较好的效果。本文采用的语音情感识别方法是高斯混合模型(gaussian mixture model,gmm)。gmm在说话人识别和语种识别中获得了很好的应用目前在语音情感识别中,gmm是被广为采用的一种方法,此外,机器学习领域的很多算法,都可以用于语音情感识别的研究,近年来研究者们尝试了支持向量机(support vector machine, svm),隐马尔可夫模型(hidden markov model,hmm),k最近邻算法(knearest neighbor algorithm, knn),人工神经网络(artificial neural network,ann)等。同gmm相比较,hmm适合于序列的识别,对动态情感特征一般采用hmm进行识别,对全局统计特征,一般采用gmm进行识别。与其他算法相比,gmm的优势在于能够对情感数据的概率分布进行较好的拟合,同时适合全局统计特征的识别。然而gmm方法的不足之处在于无法改变训练数据的内在结构,对数据的依赖性较大,从而导致了跨数据库的通用性不强。
4. 研究方案
1、要想对语音情感的维度特征进行提取,必须先对语音信号进行处理,其中包括语音信号的特性分析,语音的声学特性分析,语音的时间波形和频谱特性分析,其主要流程如下:
2、语音信号输入彩样量化标准化分帧预加重端点检测提取特征参数
3、用高斯混合模型和隐马尔科夫模型对参数进行研究。
5. 工作计划
第 1 周:接受任务书,领会课题含义,按要求查找相关资料。
第 2 周:阅读相关资料,理解有关内容。
第 3 周:翻译相关英文资料,提出拟完成本课题的方案,写出相关开题报告一份。