LSTM即长短期记忆模型（long-short term memory）是一种特殊的RNN模型，是为了解决RNN模型梯度弥散的问题而提出的；在传统的RNN中，训练算法使用的是BPTT，当时间比较长时，需要回传的残差会指数下降，导致网络权重更新缓慢，无法体现出RNN的长期记忆的效果，因此需要一个存储单元来存储记忆，因此LSTM模型被提出；本选题的提出是为了研究LSTM模型的特征 ,优点 ,实现, 应用.LSTM模型在很多方面都有它独到的用处,本人不可能理解和发掘它所有的结构变化和衍化模型的应用,但只是稍稍研究一下它的核心思想和理论走向,都能对我今后的编程之路有很大的帮助.而如果能在这个课题上找到新的LSTM模型的应用方法,对社会对人工智能的发展也会有重要的影响.

2. 研究的基本内容与方案

研究的基本内容:RNN与LSTM的基本原理和结构,语音识别模型中DNN引入后的提升和LSTM引入后的优化.

研究的目标:本次研究预计在TIMIT语音数据库上进行实验,分别对GMM-HMM和DMM-HMM还有LSTM-HMM进行音素识别实验以找出LSTM的优化能力及对它的拓展.

拟采用的技术方案:进行声学建模,建立三种模型,分别在TIMIT语音数据库上实验

措施:以隐马尔可夫模型为框架搭建模型,TIMIT为语音数据库来保证实验的有效性.

3. 参考文献

1.lt;lt;基于极性转移和LSTM递归网络的情感分析gt;gt; 梁军 2015

2.lt;lt;电话交谈语音识别中基于LSTM-DNN语言模型的重评估方法研究gt;gt; 左玲云 2016

3.lt;lt;基于LSTM型RNN的CAPTCHA识别方法gt;gt; 张亮 2011

4.lt;lt;基于深度学习的文本表示与分类方法研究gt;gt; 闫琰 2016

5.lt;lt;Learning to Forget: Continual Prediction with LSTMgt;gt; Felix A Gers ,Jurgen Schmidhuber 2000

6.Hinton G E, Salakhutdinov R R. "Reducing the dimensionality of data with neural networks". Science, 2006.