1．目的及意义

人类的大脑通过约1.4*10¹¹个神经元以及每个神经元数以千计的同其他神经元相互连接的突触构成的及其复杂的神经网络，对信息进行分布式存储与运算，这种存算一体的群体协同的工作方式使得人脑具有传统的基于冯·诺依曼结构的电子计算机无法比拟的智能，这一差距在学习认知、记忆联想、推理判断、综合决策等问题上体现地尤为明显。因此，通过模仿人脑而构建的人工神经网络（Artificial Neural Network, ANN）被认为是实现强人工智能的可行方法，另一方面，“仿脑”也为“认识脑”提供了一条崭新的研究途径。然而，人工神经网络的训练与推断过程需要频繁地进行向量矩阵乘法运算，并对存储器中的数据进行反复读写，这就对计算机的运算能力和数据读写速度提出了极高的要求，“冯·诺依曼瓶颈”成为了实现人工神经网络不可绕过的障碍。

忆阻器（Memristor）是加州大学伯克利分校的蔡少棠教授于1971年预言的，并由惠普实验室的Strukov于2008年发现的，继电阻、电感、电容之外的第四种电路基本元件，作为一种非易失性非线性电导器件，其电导值能够随着流经器件的电荷或磁通而变化，具有高速、低功耗、易集成，以及与CMOS工艺兼容等特点。忆阻器的电学特性恰恰符合神经元的电压门控离子通道中基于电压的电导变化性质，不仅如此，忆阻器的电导可模拟式的连续调节，并且在断电后保持自身的电导状态，可以认为忆阻器是模拟神经突触的完美器件。同时，忆阻器因自身的非易失性从而可以实现存储与计算的融合，对于打破“冯·诺依曼瓶颈”具有至关重要的意义。综上所述，忆阻器被认为是从硬件上搭建人工神经网络的最理想的电子元件。

经典的图像识别问题已经可以由深度神经网络（Deep Neural Network, DNN）和卷积神经网络（Convolutional Neural Networks, CNN）较好的解决，但是这一类网络要求训练的输入和输出样本是比较确定的，但是当训练的样本是连续的时间序列且长短不一，比如需要提取连续的音频和视频中的信息时，DNN/CNN就显得无能为力。为了解决这类问题，我们便引入了递归神经网络（Recurrent Neural Networks, RNN）。RNN的输出由网络的隐藏状态h（t）决定，而隐藏状态h（t）的值取决于网络本时刻的信号输入x（t）和网络在上一时刻的隐藏状态h（t-1），同时，网络的突触权重更新由BPTT（Back-propagation through Time）算法完成。RNN虽然可以理论上解决时序数据的训练，但它也像DNN一样有梯度消失问题，当序列很长时尤其严重。为了解决这一问题，便引入了长短期记忆（Long-short Term Memory, LSTM）神经网络。LSTM是RNN的一个特例，它在RNN的基础上引入了遗忘门、输入门、输出门等结构，同时引入一个新的细胞状态C（t），以此来解决RNN的梯度消失问题。

本研究的目的就在于，通过将华中科技大学存储器材料与器件研究所现有的忆阻器件（如AlSiO_x、HfO_x、TaO_x忆阻器）的数学模型代入到LSTM网络的MATLAB仿真中，试图找出最适合搭建纯硬件LSTM网络的忆阻器类别，同时通过对各种忆阻器非理想特性（例如：非线性度，非对称性，窗口比，稳定电导阶数，器件一致性，循环一致性，器件失效比率等）参数的调参，找到对LSTM网络的性能影响最大的几项指标，为后续的忆阻器性能优化和设计提供指导。{title}

2. 研究的基本内容与方案

{title}

·对人工神经网络的基本原理、分类、发展及其在处理人工智能问题时的优势作介绍

·对忆阻器的发展历程、分类、数学模型、当前研究进展等作简要回顾，并论证忆阻器在搭建纯硬件神经网络时不可替代的优势

·利用MATLAB软件建立LSTM网络模型，选择一个适合LSTM网络解决的实际问题（如语音识别、手写字体识别、人体步态分析、线性回归预测等，具体方案待定），代入华中科技大学存储器材料与器件研究所现有的忆阻器件的数学模型，找出最适合LSTM网络的忆阻器，验证基于忆阻器的LSTM网络的实用性

·通过对忆阻器各项非理想特性进行量化，并代入LSTM模型中进行分析，找出对LSTM网络性能影响最大的忆阻器非理想特性，并结合忆阻器的物理机制给出简单的优化意见

本研究计划采用MATLAB编写LSTM网络的仿真程序，样本的编码与输入、突触权值的更新、网络的训练与推断、测试等过程均在仿真中完成。完成仿真程序的编写后，将研究所现有的忆阻器件的突触特性代入到网络中，验证LSTM网络的实用性并分析各项忆阻器性能参数对网络性能的影响，尝试着对后续忆阻器件的制作提出改进意见，完成毕业论文的撰写。

3. 参考文献

[1] Li C, Wang Z, Rao M, et al. Long short-term memory networks in memristor crossbars[J]. arXiv preprint arXiv:1805.11801, 2018.

[2] Tsai H, Ambrogio S, Narayanan P, et al. Recent progress in analog memory-based accelerators for deep learning[J]. Journal of Physics D: Applied Physics, 2018, 51(28): 283001.