细胞神经网络：理论

摘要

一种称为细胞神经网络的新型信息处理系统被推出了，就像神经网络一样，它是一个大规模的实时信号处理的非线性模拟电路。像元胞自动机一样，它是由一个庞大的具有整齐间隔的聚集电路克隆而成，那些个体称为细胞，细胞仅仅与其相邻并且最近的邻细胞进行信息交流。每一个细胞是由一个线性电容器，一个非线性电压控制的电流源以及一些电阻性电路元件组成。

细胞神经网络共享彼此具有的显著特征，时滞性的特征使在数字域实现实时信号处理称为可能，同时，细胞神网络的局部互通性使其能够适用于超大规模集成电路的实现。

细胞神经网络是十分适合用于高速并行信号的处理的，许多令人印象深刻的细胞神经网络在图像处理上的模板程序已经在有关地方崭露头角。

1. 引言

模拟电路在现代电子技术发展过程中发挥了非常重要的作用，即使是在我们的数字计算机时代，模拟电路凭借其实时信号处理的能力仍然占据主导地位，比如在通信、电力、自动控制、音频和视频的电子科技这些方面。传统的数字计算法，因为其所具有的串行性，在计算速度上遇到一个严重的瓶颈。为了克服这个问题，一种称为“神经网络”的计算模型已经被提出,神经网络是以神经生物学的某些方面为基础，同时适应于集成电路的。神经网络的主要特点是异步并行处理、连续时间动力学、以及整体元素的互通性。令人鼓舞的是，在不同的领域中一些令人印象深刻的神经网络的应用已经被提出，比如优化处理、线性和非线性规划、联想记忆、模式识别和计算机视觉。

在本文中，我们将提出一个新的电路架构，称为“细胞神经网络”，它不仅具有某些神经网络中的关键特征，而且在图像处理和模式识别等领域具有重要的潜在应用价值。在第二节介绍了这种体系结构；然后紧跟着是对神经细胞网络的深入分析；值得注意的是，第三节讲述动态范围的实际问题；第四节是对细胞神经网络的稳定性分析；第五节将讨论一些简单的细胞神经网络的计算机模拟和典型的动态行为；所有以下的结果都是广义的，第六节主要是与多层细胞神经网络的对比分析；最后在第七节，应用神经网络细胞对两种相似的数学模型进行了比较。

1. 细胞神经网络结构

细胞神经网络的基本电路单元称为细胞，它包含线性和非线性电路构成，通常是线性电容、线性电阻，线性和非线性受控源和独立源。细胞神经网络的结构与细胞自动机是相似的，即在细胞神经网络中的任何细胞只连接到其相邻的细胞。相邻的细胞可以直接相互作用，对于没有直接相连的细胞，由于细胞神经网络的连续时间动力学也能间接的相互影响。例如一个二维的细胞神经网络如图一所示。从理论上讲，我们可以从任何维度来定义一个细胞神经网络，但是在本文中，我们主要注意力集中在图像处理的问题上，所以更专注于细胞神经网络的二维情况。其得到的结果也比较容易推广到更高的维度中去。

考虑一个MxN细胞神经网络，有Mtimes;N个细胞排列在m行n列。我们把第i行第j列的细胞称为细胞（i,j），将其表示为C(i,j)，如图一。现在我们来定义一下之前所说的C(i,j)的邻细胞。

定义 I:r-领域

一个细胞C(i,j)的r-领域，在细胞神经网络中定义为：

N_ij(r)={ C_kl| max(|k-i|,|l-j |le;r ) , 1le;kle;M , 1le;lle;N }

其中r表示细胞C(i,j)的邻域半径，是一个正整数。

图二分别给出了同一细胞（位于中心并且用阴影表示）的三种邻域图，邻域半径分别为1、2、3.通常情况下，我们把邻域半径为1的称为“3times;3近邻”，邻域半径为2的称为“5times;5近邻”，邻域半径为3的称为“7times;7近邻”，这里不难看出，在之前的定义下，这里所定义的邻域系统是具有对称性的，即如果 C_ijisin;N_kl（r），那么同时有C_klisin;N_ij（r），对于细胞神经网络中的所有细胞都具有此特征。举个典型的例子，细胞神经网络中的一个细胞C(i,j)如图3所示，图中分别用u,x,y表示输入、状态、输出。细胞C（i,j）的节点电压V_xij被称为细胞的状态，同时它的初始条件是假定小于或者等于1.节点电压V_UIJ被称为细胞C(i,j)的输入，假设是一个小于或者等于1的常数。节点电压V_xij被称为细胞C(i,j)的输出。

观察图3，其中每个细胞C(i,j)包含一个独立电压源E_ij，一个独立电流源I,两个线性电阻R_X和R_y,最多有2m个线性电压控制的电流源，通过控制输入电压耦合到相邻的细胞，同时每个邻细胞C(k,l)的输出电压产生反馈，其中m等于相邻细胞的数量。特别注意的是，I_xy(i,j;k,l)和I_xu(i,j;k,l)是线性电压控制电流源，具有特点：对于全部C_klisin;N_ij，I_xy(i,j;k,l)=A(i,j;k,l)u_ykl和I_xu(i,j;k,l)=B(i,j;k,l)u_ukl，每个单元中唯一一个非线性元件是一个分段线性电压控制的电流源I_yx=(1/R_y)f(u_xij)，其特性如图4所示。

我们的细胞神经网络中使用的线性和分段线性控制的源可以很容易地使用运算放大器实现。在附录中给出一个简单的例子，用一个运算放大器实现的一个单元电路。在没有失去广义性的情况下，在图3中的细胞电路架构将被用于整篇文章。应用KCL和KVL，一个细胞的电路方程很容易求解得出。

三、 细胞神经网络的动态范围

在设计一个物理的细胞神经网络之前，我们非常有必要了解它的动态特性，以保证我们对于之前的动力学方程的假设。下面的定理为我们的设计提供了基础：

定理1：在一个细胞神经网络中所有的状态 V_XIJ都是有限值（所有时间t大于0），对于任何细胞神经网络，边界值V_max可以由以下公式计算：

在实际电路设计中，可以更加方便的选择电路参数的比例，比如R_X|I|asymp;1,R_x|A(i,j;k,l)|asymp;1和R_x|B(i,j;k,l)|asymp;1,对于所有的i,j,k,l而言。因此，我们可以很容易地估计我们的细胞神经网络的动态范围内的上限。例如，如果一个附近的细胞神经网络是3 x 3，然后我们可以得出V_maxasymp;20伏，这是在典型的集成电路的电源电压范围之内的。

四、 细胞神经网络的稳定性。

细胞神经网络的一个应用是在图像处理，我们已经在一个配套文件[I]中提出。用于图像处理的细胞神经网络的基本功能是映射或将输入图像转换成相应的输出图像。在这里，我们限制我们的输出图像的二进制图像的像素值为-1和1。然而，输入图像可以有多个灰度级，提供相应的电压满足（2e）。这意味着，我们的图像处理细胞神经网络必须始终收敛到一个恒定的稳定状态，任何一个瞬间状态已被初始化成与/或，由一个给定的输入图像驱动。如何保证细胞神经网络的收敛性？什么样的条件或者限制才能使这种结合变成可能？在这一节中，我们将讨论细胞神经网络的收敛性及其相关问题。

动态非线性电路收敛性分析的一种最有效的方法是Lyapunov法。因此，让我们首先定义细胞神经网络的Lyapunov函数。

定义2：

我们定义的Lyapunov函数，即是一个细胞神经网络的标准函数

a.观察上面的Lyapunov函数，E（t）只是一个关于电路中输入电压V_u和输出电压V_y的函数。虽然它没有包含在状态变量V_xij下的完整信息，但是我们能根据E（t）的性质获得状态变量的稳态性能。

b.Lyapunov函数，E（t）以及上述定义，可以解释为一个细胞神经网络的“广义能量”，虽然其确切的物理意义不是很清楚。但是在随后的定理中将会表现出，E（t）始终是收敛于一个局部最小值，其中的细胞神经网络产生所需要的输出。

定理2：对于一个Mtimes;N的细胞神经网络有

我们不仅可以证明E（t）是有界的，同时我们也可以证明它是一个单调递减函数。

定理3：在定义2中所定义的能量函数E（t）是单调递减函数，即

根据定理2-3，我们可以很轻易的证明以下这个重要的结论。

定理4：对于任何给定的输入电压V_u和任何初始状态为V_x的细胞神经网络，我们可以得出：

推论：在一个细胞神经网络的瞬态衰减到零之后，我们总是得到一个恒定的直流输出。换句话说，我们有：

让我们研究以下神经细胞网络的下一步稳态行为。根据对定理3的证明，即当在（dE(t)/dt）=0的条件下，一个细胞的状态可能有三种情况，同时T趋近于正无穷。

基于分段线性输出函数的特性。

如果我们仔细观察图4，就不难发现，当|V_xij(t)|小于1，我们可以得出V_yij(t)=V_xij(t),与此同时可以得出（dV_yij(t)/dt)=(dV_xij(t)/dt).根据定理4以及它的推论我们便可以得到式子（1）。但是针对|V_xij(t)|大于1的情况，因为V_yij(t)ne;V_xij(t)，同时V_yij(t)=plusmn;1是一个常数，我们不能得到关于V_xij(t)的准确波形。在这种情况下，当V_xij(t)等于一个常数，我们便得到了式子（2）。否则通过定理1的角度来看，式子（3）的应用和V_xij(t)可能是一个周期性或者非周期性的有界函数。

当细胞神经网络处于稳定状态时，在不同的状态变量中是否有可能这三种情况同时存在？或者是只有其中的一到两种情况存在？在一个精确的假设条件下，在A(i,j;k,l)和R_x的电路参数范围内，对于稳态中所有的状态变量V_xij，我们认为只有式（2）能够存在。

定理5：

如果电路参数满足A_ijgt;1/R_x,则细胞神经网络的每一个细胞的状态在经过衰减到零的暂态过程之后，一定落在一个稳定平衡点上，而且所有的稳定平衡点的幅值都大于1，即

1. 这一定理的之所以对于细胞神经网络是有意义的，因为它意味着电路将不会振荡或者变成混沌状态。
2. 定理5保证我们的细胞神经网络具有二进制输出。这一特征是解决图像处理应用中的分类问题的关键所在。
3. 在没有定理5中式子的约束，和具有相同的技术时，我们可以很轻易的得出情况（1）和情况（2）是可以同时存在的，但是情况（3）不行。这意味着即使没有定理5中式子的约束，(a)的论述也是真实的。
4. 由于A(i,j;k,l)对应于一个细胞C（i,j）的输出到它本身的输入的反馈，定理5中的式子规定了最低能量的正反馈，以此来保证每个细胞的稳态输出为1或者是-1.需要注意的是，这种情况是违反了Hopfield神经网络，因为它对其对角耦合系数均假设为0.为了在Hopfield模型中保证类似plusmn;1的二进制输出，我们有必要选择一个无限边坡的非线性函数f()中的线性区，如图4.相反，在一个神经细胞网络中，相应的斜率总是选择等于1的。
5. 一种简单的神经细胞网络的计算机模拟。

在这一节中，我们将介绍一个非常简单的例子来说明如何在第二节所描述的细胞神经网络。这个例子也将有助于更好地理解前面章节中所证明的定理。

这个例子中的细胞神经网络是和图1中的一样的，其表示为，网络规模是4times;4。细胞C(i,j)的电路元件参数选择如下：

由于B（i,j;k,l）= 0，3 x 3的系数A(i,j;k,l）单独确定的细胞神经网络的动态行为。我们通常会在一个正方形数组的形式中指定这些系数，如图8(a)所示，从此被称为克隆的模板，它指定了细胞神经网络的动态规则。

定义3：对于任何克隆模板（如图8（a）中例子所示），它定义了单元电路的动态规则，我们定义了卷积运算符*

其中T（m，n）表示在M行和n列的克隆模板，分别有m=-1，0,1和n=-1,0,1。通过在上述的定义对于这个神经细胞网络A（i,j;k,l）被认为是独立于i和j的。这一特征是空间不变的，这意味着A(i,j;k,l)可以表示为A(k-i,l-j).除非另有说明，所有的细胞神经网络被假定为具有空间不变属性。此属性允许我们使用克隆模板来指定细胞神经网络的动态规则。

为了研究图27（a）中的暂态行为，让我们来研究通过每一个单元细胞C(i,j)的初始电压V_xij（0），每个初始电压可以被分配为1和1之间的任何电压值，如（2d）规定的。

定义4:一个稳定细胞的平衡状态，V^*

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[146724]，资料为PDF文档或Word文档，PDF文档可免费转换为Word