英语原文共 8 页，剩余内容已隐藏，支付完成后下载完整资料

用可重构记忆的Hopfield神经网络实现联想记忆

S.G. Hu, Y. Liu , Z. Liu, T.P. Chen, J.J. Wang, Q. Yu , L.J. Deng, Y. Yin amp; Sumio Hosaka

虽然忆阻器的突触行为已经得到了广泛的证实，但实现一个甚至简单的人工神经网络仍然是一个巨大的挑战。在本工作中，我们在记忆Hopfield网络的基础上演示了联想记忆。通过调整记忆电阻，可以将不同的模式存储到记忆Hopfield网络中，并且可以直接或通过一些联想中间状态成功地检索预存储的模式，这类似于联想记忆行为。记忆Hopfield网络可以实现单联想记忆和多联想记忆。

建立像生物大脑一样的认知系统的想法已经存在了很长时间了。然而，用传统的基于冯诺依曼式的数字计算机来构建一个人工大脑是非常困难的。数字计算机和生物大脑以根本不同的方式处理信息。数字计算机按顺序处理信息，精确，不易出错但是不灵活；相比之下，生物大脑并行处理数据，并且灵活，但是不精确、容易出错，然而善于学习新事物。显然，为了有效地实现生物大脑的功能，需要新的计算架构。在过去的几十年里，人工神经网络(ANNS)由于具有存储信息和提供信息的自然能力而受到了广泛的关注。20世纪80年代，Hopfield提出了一种动态神经网络--Hopfield网络。Hopfield网络在内容寻址存储器和组合优化问题(如旅行商问题和位置分配问题)中得到了广泛的应用。以前的Hopfield网络是通过结构互补的金属氧化物半导体电路作为突触，并以大芯片面积和功耗为代价实现的。1971，蔡少棠预言了第四种基本电路元件，即记忆电阻，这一点后来由Williams等人于2008在实验室进行了演示(参考文献14)。随后，许多研究表明，记忆电阻可以作为一种电子突触，其电导代表突触的权重。虽然记忆电阻的突触运算已经被广泛地证明，但即使是简单的人工神经网络的实现也仍是一个挑战。令人鼓舞的是，最近报告了一些重大进展。例如，由神经元和突触组成的人工神经网络被用来实现Pavlov的狗模型；Alibart等人使用记忆网络实现了线性模式分类；Park等人使用电阻性随机存取记忆性突触实现了神经形态语音系统；Eryilmaz等人使用相位变化的突触装置阵列实现了类似大脑的联想学习。Burr等人展示了一个用相变装置实现的具有165000个突触的神经网络。

在本工作中，我们利用记忆电阻和外围设备成功地构建了一个Hopfield网络，实现了能够从该数据中提取部分信息的联想存储器。该网络可以重新配置，以实现各种正、负突触权重。记忆Hopfield网络(MHN)可以实现单联想记忆和多联想记忆。通过或不通过中间状态的联想记忆可以分别用来模拟人类的“弱记忆”或“强记忆”。

结果

记忆电阻的特性 如图1a所示，本工作中使用的记忆器具有金属/氧化物/金属结构。经过高压成形后，可根据电压极性通过电压偏压来增加或降低记忆电阻的电阻值。图1b显示了典型记忆电阻的五个重复电压扫描周期的I-V特性。每次扫描周期为10s，每一次电压周期为40ms。对于正电压极性，在低电压下电流随电压增加很少，但当电压增加到1V时，电流迅速上升；对于负电压极性，电流随电压的大小而增大，但当电压达到-1V时，电流逐渐减小。

图1 基于的记忆电阻 (a)记忆电阻截面的扫描电子显微镜图像；(b)用1mA电流扫扫五次重复电压的典型记忆电阻的I-V特性；(c)不同初始电导(G0)的记忆器的电导(G)与脉冲电压的函数，脉宽固定在5ms。

除电压扫描外，还可利用电压脉冲改变忆阻器的电导。图1c显示了不同初始电导(G0)下，脉宽为5ms时的电导变化。通常，正或负脉冲电压分别导致电导的增加或下降。小脉冲电压的电导变化不大，而大脉冲电压的电导变化较大(如正脉冲电压2V，负脉冲电压 -2V)。结果表明，通过适当的电压脉冲编程方案，可以将记忆电阻的电阻调整到所需的值(见附图1)。导电丝(CF)模型可以解释基于的记忆电阻的电阻变化。考虑到记忆电阻的双极性，由氧空位组成的某些CF的形成或断裂是导致电阻变化的原因。在初始化过程中(即形成过程)，CF形成在薄膜中连接两个电极，从而形成低电阻状态。随后，负(正)电压会导致CF的逐渐断裂(恢复)，导致电阻的增加(减小)。从高阻态到低阻态的转换可归因于在含有高浓度氧空位的晶界处形成CF。另一方面，电场在从低阻状态向高阻态转变过程中起着重要的作用。研究表明，电脉冲会导致CF逐渐变窄，最终形成间隙，使记忆电阻切换到高阻状态。

记忆Hopfield网络（MHN）的实现

图2 MHN (a)神经元模型的数学抽象；(b)设计的3位神经元的电路原理图；(c)由9个记忆器组成的3位MHN的结构；(d)MHN的结构，其对称结构由6个记忆器组成。

生物神经元行为的基本发现使研究人员能够模拟人工神经元的操作。Hopfield网络由一组相互连接的人工神经元和突触组成。在本工作中，我们用9个突触构建了一个Hopfield网络，该网络由6个记忆电阻和3个神经元组成。如图2a所示，人工神经元有三个输入，每一个输入连接到一个突触，突触重量为。三输入二进制人工神经元的输出表示为

其中theta;是神经元的阈值，符号函数定义为：

如图2b所示，一个人工神经元被构造出来。一个运算放大器被用来对输入求和。开关、和，被外部信号控制，以获得正或负的突触权重。对应于输入、和的突触权重分别是、和；(、和分别是忆阻器的电阻，并且R的电阻固定在)。在图2b所示的电路中，传输门、和用于传输信号而不改变信号的极性；反相器、和用于实现负的突触权重。

图2c示出了用9个突触实现的3位MHN的结构。从神经元到神经元的突触重量由给出，可以通过调节相应的忆阻器的电阻来实现。和分别由电阻矩阵和突触权重矩阵表示。由于Hopfield网络是对称的，即，和，所以只要用6个记忆电阻就可以实现，如图2.d所示 (见附图2 MHN的完整电路原理图)。下面的所有讨论都是基于这个优化的架构。人工神经元(神经元1、2和3)的阈值用阈值向量表示，三个神经元的状态用状态向量表示，其中、和分别表示神经元1、2和3的状态。在更新周期中，根据以下功能更新神经元的新状态：

其中t表示更新周期的数目，t=0表示没有发生更新，对应的状态向量是初始向量X(0)。在一个更新周期中，神经元的新状态按三个阶段异步更新，从、和，分别定义为a、b和c阶段。

单联想记忆

联想记忆是大脑的一种功能，它能够回忆起与该数据相关的信息上的一段数据。在本工作中，通过调整电阻矩阵M将模式存储到MHN中，以获得期望的权重矩阵W(参考文献11，36)。提出了一种基于外积(Hebbian)准则的优化方案来确定权重矩阵.。初始状态与最终状态之间的关系由权矩阵、阈值和刷新序列决定。需要联想回忆的目标内存设置为“110”。要将模式“110”存储到MHN中，电阻矩阵设置为

通过为每个突触选择合适的开关状态，将权重矩阵设为

为了实现方程(4)和(5)中的目标矩阵，通过适当的电压幅值和脉冲数方案，将类似于阶跃脉冲的电压脉冲施加到记忆器上，实现了相应的电阻调节，称为训练过程。一种用于在记忆电阻上设置预定电阻的离线训练方案，其通过嵌入在半导体表征系统(Keithley 4200)中C语言程序来实现。、和的培训过程见附图3。另一方面，、和的目标电阻可以直接从电阻在0.1左右的低电阻状态中获得，因此不需要对这些元件进行训练。

图3 不同初始状态的状态(、和)的波形。有lsquo;110rsquo;的MHN是预先储存在里面的。各个图形的初始状态为(a)lsquo;000rsquo;；(b)lsquo;001rsquo;；(c)lsquo;010rsquo;；(d)lsquo;011rsquo;；(e)lsquo;100rsquo;；(f)lsquo;101rsquo;；(g)lsquo;110rsquo;和(h)lsquo;111rsquo;。

一旦达到目标电阻，它们在网络运算期间保持不变。对电路工作过程的描述载于补充说明1。将三个神经元的阈值向量设为

如果联想记忆网络工作，MHN可以从lsquo;000rsquo;到lsquo;111rsquo;范围内的任何状态自动收敛到lsquo;110rsquo;。图3显示了状态向量X(T)在检索预存储的lsquo;110rsquo;过程中的波形。用5 kHz的时钟控制MHN。该网络总共需要7个控制信号(见附图4)。图3显示了不同初始状态 (、和)的波形。在每个刷新周期中，矩阵的一列中三个记忆电阻一起被选择，如图2.c和补充图2所示。从任何初始状态向量开始的MHN可以成功地检索预存储的状态lsquo;110rsquo;。 在一个更新周期中，X(t)被分三个阶段更新，而在一个阶段只更新了1位。作为一个例子，从X(0)=(0 0 0)开始的MHN的更新周期，如图3a所示，随后将被介绍。在第一个更新周期中，元素首先根据方程(3)更新， (a阶段)，然后根据方程(3)在b阶段更新和。现在MHNlsquo;回忆rsquo;预存储模式lsquo;110rsquo;。在第一个更新周期的c阶段和随后的更新周期中，没有发生真正的更新，MHN稳定在lsquo;110rsquo;。 通过体验一些中间状态来“回忆”状态lsquo;110rsquo;会模仿一种弱记忆，也就是说，有时我们真的很难通过一些结合的中间状态来回忆一件事情：从一个事物到另一个事物的联想hellip;hellip;最终到最后的记忆。

对于不同的初始状态向量，MHN在“回忆”预存储模式之前可能经历不同的中间状态向量，如图3a，b，d，f所示。对于一些初始状态向量，中间状态向量是不必要的。例如，如图3h所示，MHN从X(0)=(1 1 1)开始，直接稳定在X(1)=(1 1 0)，没有经历中间状态。直接记忆模拟一个简单的联想记忆，即我们可以在不经历联想状态的情况下恢复一些强记忆。在图4中，从不同的初始状态向量中检索预存储的lsquo;110rsquo;，使用一个立方体的每一个角表示MHN的一个状态来对其进行示意图总结。对于不同的初始状态向量，MHN在“回忆”预存储模式之前可能经历不同的中间状态向量。除了收敛到lsquo;110rsquo;之外，还可以通过修改权矩阵和阈值向量来实现其他的最终状态。

图4预存储的二进制代码lsquo;110rsquo;的单联想记忆示意图和通过表示兔子图像的不同部分来表示联想记忆的示意图。

用于预存储二进制代码lsquo;110rsquo;的单联想存储器也可以用兔子图像的不同部分的表示来说明，如图4所示。完整兔子的图像相当于最后的状态lsquo;110rsquo;，而部分被草覆盖的兔子的图像相当于初始状态，如lsquo;000rsquo;，lsquo;100rsquo;等等。状态lsquo;000rsquo;、lsquo;100rsquo;或其他初始状态通过方程(5)中的突触权重矩阵、方程(6)中的阈值向量和刷新序列与最终状态lsquo;110rsquo;相关联，这些初始状态表示与最终状态lsquo;110rsquo;相关的信息。最后的状态可以从初始状态中恢复，这意味着完整兔子的图像可以通过联想记忆来回忆。

多联想记忆

在人脑中，人们可以通过体验一些关联状态来回忆与该数据相关的信息上的一段数据；如果给定的数据不同，人们可以通过经历其他一些中间状态来回忆另一段数据。在本工作的MHN中，通过重新配置记忆电阻的电阻值，可以同时存储多个状态。为了验证多联想存储器的正确性，将“000”和“101”预存储到MHN中，并将电阻矩阵设为

实现方程(7)中所示的、和的预定电阻值的离线训练过程在补充图5中给出。通过为每个突触选择合适的开关状态，将权重矩阵设为

将三个神经元的阈值向量设为

图6 预存储二进制代码lsquo;101rsquo; (表示完整鹤的图像)和lsquo;000rsquo;(表示完整兔子的图像)的多联想记忆示意图。

图5 不同初始状态下、和的波形。MHN网络有lsquo;000rsquo;和lsquo;101rsquo;预存储在里面。各个图的初始状态(a)lsquo;000rsquo;；(b)lsquo;100rsquo;；(c)lsquo;010rsquo;；(d)lsquo;110rsquo;；(e)lsquo;001rsquo;；(f)lsquo;101rsquo;；(g)lsquo;011rsquo;和(h)lsquo;111rsquo;。

图5显示了的信号波形。如图5 a-d所示，当初始状态向量，，或时，MHN可以检索模式lsquo;000rsquo;。 在图中5e-h中，MHN通过初始状态，，和 成功地“回忆”了预存储的lsquo;101rsquo;。与单联想记忆相似，MHN表现出强联想记忆和弱联想记忆。对于一些初始状态向量，MHN可以直接“回忆”lsquo;000rsquo;或lsquo;101rsquo;，因为它们具有良好的结合性。从其他一些初始状态向量开始，由于弱的结合能力，MHN在检索成功之前必须经历联想的中间状态，如图5d，5g所示。在图6中，我们对立方体中不同初始状态向量的预存储“000”和“101”的检索进行了概要总结，立方体的每个角表示MHN的一个状态。对于不同的初始状态向量，MHN可能经历一些中间状态向量(或不经历任何中间状态)，最终稳定在lsquo;000rsquo;或lsquo;101rsquo;，从而实现多联想记忆。除了收敛到状态lsquo;000rsquo;和lsquo;101rsquo;之外，还可以通过修改权值矩阵和阈值向量来实现其他一些最终状态。如图6所示，也可以用兔子图像和鹤图像的不同部分来表示预存储二进制代码lsquo;000rsquo;和lsquo;101rsquo;的多联记忆。一只完整兔子的图像相当于最终状态lsquo;000rsquo;，而部分被草覆盖的兔子图像(或与一只完整兔子相关的图像)相当于初始状态lsquo;010rsquo;、 lsquo;100rsquo;和lsquo;110rsquo;。 同样，lsquo;101rsquo;代表一个完整的鹤的图像，而部分被草覆盖的鹤的图像相当于初始状态lsquo;001rsquo;、lsquo;011rsquo;和lsquo;111rsquo;。通过与整个兔子(或鹤)相关的信息，MHN可以成功地回忆兔子(或鹤)的完整图像。

能量损耗

图7 阈值电压变化容限。阈值电压变化对单联想记忆(a)和多联想记忆(b)的影响。

图7a，b分别显示了阈值变化对单联想记忆和多联想记忆网络的影响。错误率定义为

误差状态是指由于阈值电压(或电阻)的变化而导致收敛到一个错误的最终状态。阈值电压变化定义为

其中是初始阈值电压（），是调整后的阈值电压。如图7a所

全文共14687字，剩余内容已隐藏，支付完成后下载完整资料

资料编号：[8834]，资料为PDF文档或Word文档，PDF文档可免费转换为Word