摘 要

以人工智能为首的高科技正在变更着人们可选择的生活方式，以物联网新型科技方式为首的智能科技再次点燃第四次工业革命。科技使得人们追求生活接近完美，当然也有不足之处。本课题研究对象是从人机交互的语音功能角度着手，着重研究语音情感识别技术对人们生活水平的改变和提升，传统意义上人们习惯于用鼠标、键盘、触控板输入方式进行人机交互，但是便捷的非触控式交互方式更为人们所期待。本课题钻研的内容涵盖语音情感识别基础技术，含有语音信号的预处理：包括预加重和加窗分帧，特征参数的选择与提取：包括MFCC、短时过零率、短时平均能量；最后着重探讨了现今常见的语音情感识别模型。研究预期目标是通过基本理论研究，选取某一种方法进行实验仿真，比较分析各模型之间的特点，从而得出结论。

关键词：语音信号；特征参数；模型学习；情感分析

Abstract

High technology, right now led by AI, is once again improving people's lifestyles, rekindling the fourth industrial Revolution with intelligent technology connected by everything. People's pursuit of science and technology is close to perfection. This topic intends to start from the perspective of human-computer interaction speech function, explore the speech emotion recognition by simulating technology，which improves people's lives. Compared with the traditional use of keyboard mouse trackpad and other contact input mainly human-computer interaction, vivid, intelligent and flexible non-touch interaction more people look forward to. This thesis studies the fundamental methods of SER, including selection and extraction of feature parameters, speech emotion recognition model, digital analysis of speech signal and so on. Through the basic theoretical research, the experimental simulation is carried out to compare and analyze the characteristics between the models.

Key Words：speech digital signal; parameters; learning model; emotional analysis

目 录

第1章 绪论 1

1.1 语音情感识别研究背景及意义 1

1.2 语音情感识别国内外研究现状 1

1.3 语音情感识别所面临的问题 3

1.4 论文章节安排 3

第2章 语音情感理论基础 4

2.1 情感定义 4

2.1.1情感的心理学理论 4

2.1.2维度空间论 4

2.2 情感的分类模型 4

2.2.1离散情感模型 4

2.2.2纬度情感模型 5

2.3实用语音情感数据库的建立 5

2.3.1语音情感数据库概述 5

2.3.2数据库建立过程和一般规范 5

第3章 语音信号的预处理和情感特征参数提取 7

3.1引言 7

3.2语音信号的预处理 7

3.2.1预加重 7

3.2.2语音信号加窗和分帧处理 10

3.2.3端点检测 12

3.3语音信号情感特征提取 13

3.3.1基因频率 14

3.3.2共振峰 14

3.3.3短时平均过零率 14

3.3.4平均短时能量 16

3.3.5梅尔频率倒谱系数 18

第4章 语音情感识别的识别模型 ..…………………………………………………………………………………… 20

4.1概率生成模型 20

4.1.1高斯混合模型 20

4.1.2隐马尔可夫模型 21

4.2识别模型 21

4.2.1神经网络 21

4.2.2神经元模型 22

第5章 SVM实验仿真 24

5.1 SVM原理 24

5.2 SVM公式推导 25

5.3 SVM仿真 25

5.3.1线性核（Linear Kernel）函数 27

5.4 SVM优缺点总结 30

5.4.1 优点 30

5.4.2两个不足 30

第6章 总结与展望 31

6.1.课题总结 31

6.2应用与展望 31

参考文献 32

附录A 33

致谢 38

第1章 绪论

本文研究思路框架：先从语音学基础入手，研究人体发音的生理学过程。其次研究情感分类。再为了后期特征参数的提取方便做好铺垫，要对语音信号进行预加重处理。本课题所选取的特征参数有MFCC、ZCR、平均短时过零率，也探讨了基因频率与共振峰问题。由于现有的识别模型较多，选取SVM，从原理到数学公式的推到依次展开，选取线性核函数型来SVM的仿真。

1.1 语音情感识别研究背景及意义

现有的输入方式主要是用键盘、鼠标、触控板等，但是随着语音情感识别逐渐发展，人们对机器的要求改变了，机器在可以在听懂人的语言基础上，具有情感识别的能力，不但给接触式输入为主的人机交互方式带来生机，又具有生动、智能、灵活的非触控式交互特性，而且这种方式是人们更为希望用到的。语音情感识别研究鼓励众多科学家向着更加完善而美好的科技生活发展，其带来的贡献，一是推进科学技术水平向着更高更完美的方向不断发展，二是给人们的生活带来了巨大的便利，从动手到动口的改变、从实体成本到靠语音传输的改变，从物质到精神深刻的改善着人们的生活。使人们在生活中遇到的困难问题得以高效迅速的解决，增加了时效性与便利性。因此，语音情感识别对将会各行各业、各种情景下的人机交互带去较大的贡献，开发语音情感识别具有市场潜力。

1.2 语音情感识别国内外研究现状

现在，终端手机上安装了智能扫码与智慧识物等识别程序，可以快速识别物件类型。这说明识别技术逐渐趋于成熟。随着人机交互方式改变，人们对情感识别应用需求也因而提高，语音信号作为一门自然语言学科，其重要性不言而喻，科学家从一开始就对该领域十足的重视，并对此产生了浓厚的科研兴趣。在技术越来越成熟的基础上，对该领域研究也越来越深入，国内外产生了许多语音情感识别技术研究课题组。最早和语音情感相关的课题可以追溯到Fairbanks和Pronovost于1939年发表的论文^[13]。此论文主要研究声音线索在情感表达中的重要性，由于声音夹带情感所需的影响因素，研究者开展了与人机交互过程中有关的影响因素，伟大之处在于初次将语音情感引入到科研领域。由于开展较早，受当时技术所限，作者仅对语音情感识别作了理论上的分析研究，而且理论尚需一步一步的完善。1952年，Davis研究团队破例性的发明出可以区分10个简单数字的先进实验装置^[13]。19世纪60年代，Olson等人研究提取语音信号频谱参数，采用的设备是：八个带通滤波器组，研究结果是：发明出一台非常简单的语音打字机，也是第一台语音打字机问世的标志。使得语音情感识别得以蓬勃发展的是20世纪80年代中期，HMM和ANN技术相继问世并被应用于语音信号处理课题中，因为二者在语音情感识别中是具有优势的算法，使得语音情感识别有了突破性的进展。20世纪末，某实验室研究出了一个“情感的编辑器”^[11]，此编辑器的主要作用是提取多个不同类别的情感信号，然后判别各类情感，最终达到机器对各种不同情感给予相应的合理的反应。2001年，一种新的技术出现，New团队给出了不同于其他团队的一种新的特征向量，这个团队把离散隐马尔可夫分类器引入该领域，然后识别六类基本情感。2004年，DN.jiang团队基于语音情感统计特征和时序特征，分别用GMM建模和HMM建模。特征向量为GMM和HMM似然度，在这里使用了加权的贝叶斯分类器和多层感知器算法。研究的结果表明，分类器与多层感知器的结合比两者中任意一个作用的识别高。2007年，Morrison等人通过利用已经成熟的单个分类器，构造单一分类器的组合体，以此寻求最佳识别效果。从中选取的基分类器有随即森林、基于实例的K*学习法、径向基函数。探究表明：在多种算法组合的情况下，不仅可以优化算法时空复杂度，而且识别率较一般意分类器要高。2008年，L.Fu研究团队探究了与说话人无关的语音信号，以HMM和SVM作为情感识别算法，相比较于仅用HMM,混合模型识别准确率更高，达到了76.1%，显示出：混合模型下的组合算法比一个模型的算法效率更高。2011年，Lee团队研究声学和韵律学，其中收获较大的是提取了384个特征，用分层决策树算法进行研究计算。作为情感识别算法，该方法优点是准确率高于SVM的准确率，缺点是容易导致误差累计增长^[13]。

国内最由东南大学的赵力教授开展研究。2001年该团队录制一微型语料数据库，库内有高兴、愤怒、悲伤、惊奇四类情感，总共为300条语句。在2003年该团队引入了SVM作为汉语言语音情感识别算法，研究了SVM的核函数选取问题。2010年，余华教授团队提取语音情感韵律特征、声音质量特征和谐波噪声比等74个特征，相比以前，参数选取方向稍有不同，用混沌操作优化混合蛙跳算法，进行高兴、悲伤、愤怒、害怕、惊讶、平静六种情感识别，较之前有创造性。结果显示：此算法比比径向基函数神经网络和后向传播神经网络效率更高更有效。