英语原文共 14 页

光谱网络和深层局部连接网络图

摘要

卷积神经网络可以利用信号在其域内的局部平移不变性，因此卷积神经网络在图像结构和音频识别任务中是非常有效的。在这篇文章中，我们认为定义在一般域的CNNs信号没有平移群的动作。特别地，我们提出了两种结构，一个基于域的层次聚类，另一个基于图的频谱。我们通过实验证明，对于低维数图有可能学习包含多个卷积层的卷积层参数独立于输入大小，从而产生高效的深层架构。

介绍

卷积神经网络(CNNs)在自动控制问题中取得了巨大成功，源数据表示的坐标具有网格结构(在1、2和3维中)，在这些坐标中研究的数据对该网格具有平移等方差/不变等特性。语音[11]、图像[14,20,22]或视频[23,18]是突出的例子这属于这一类。

在一个常规的网格中，CNN能够利用几个结构很好地协同工作，从而大大减少系统参数数量来提高效率:

1转换结构允许使用过滤器代替一般的线性映射以此达到权重共享。

2网格上的度量允许紧凑支持的过滤器，其支持通常为远小于输入信号的大小

3网格的多尺度二进聚类允许子采样通过大步卷积被执行。

如果一个网格在d维上有n个输入坐标，则表示一个具有m个输出的完全连通层需要n·m个参数，在典型的工作状态下，其复杂度为。使用任意过滤器而不是通用的完全连接层可以降低每个特征映射的复杂度到O(n)参数，就像使用度量结构构建一个“局部连接”的网络[8,17]。将两者结合使用得到O(k·S)参数，其中k为特征图的数量，S是过滤器的支架，因此研究的复杂度与n无关，使用多尺度二进聚类允许每个连续层使用一个二维因子从而使得每个过滤器的(空间)坐标更少。

然而，在许多情况下，人们可能会遇到在坐标上定义的数据，或者以上所有的几何性质。例如，在三维网格上定义的数据，例如地表张力或温度、气象站网络测量值或数据来自社交网络或协作过滤，都是人们不能应用标准的卷积网络结构化输入的例子。另一个相关的例子是中间体由深层神经网络产生的表示法。虽然空间卷积结构可以可以在几个层中使用，典型的CNN架构不假定“特征”中有任何几何图形维数，从而得到的4-D张量只沿空间坐标上卷积。

图提供了一个自然的框架来概括低维网格结构，并通过扩展卷积的概念。在这篇文章中，我们将讨论深度神经网络的构造普通网格以外的图形。我们提出两种不同的结构。在第一个例子中，我们展示可以将属性(2)和(3)扩展到一般图，并使用它们定义“局部”con-连接层和池化层，它们需要O(n)参数而不是。我们称之为特殊的建设。另一种结构，我们称之为光谱结构，利用了这些性质傅里叶域中的卷积。在中，卷积是由傅里叶基量。然后可以通过查找将卷积扩展到一般图对应的“傅里叶”基。这个等价性是通过拉普拉斯图给出的，它是一个算子，提供了对图[1]的调和分析。谱结构最多需要O(n)每个特征映射的参数，还可以构造参数个数为的结构独立于输入维数n。这些结构允许有效的正向传播和可应用于坐标量很大的数据集。

1.1贡献

我们的主要贡献总结如下：

• 我们证明，从输入域的弱几何结构中，可以使用O(n)参数获得有效的结构，我们在低维图数据集上验证了这一点。
• 摘要介绍了一种利用O(1)参数的构造方法，并对其与图上调和分析问题的关系进行了讨论。

空间结构

CNN对一般图形最直接的概括是考虑多尺度，层次化，局部接受域，如[3]所示。为此，网格将被加权的graphG =(ΩW),Ω是一组离散的尺寸m，W 是mtimes;m的对称非负矩阵。

2.1通过W位置

局部性的概念在图的上下文中很容易推广。实际上，图中的权重决定了局部性的概念。例如,一个简单的方式来定义邻域在W是设定一个阈值delta;gt; 0并假设邻域满足

我们可以将注意力限制在稀疏的“过滤器”上，由这些领域给出接受域来获取局部连接网络，从而将滤波层中的参数减少到O(S·n)，其中S为平均邻域大小。

2.2图的多分辨率分析

CNNs通过池化和子采样层减少网格的大小。这些层是可能的由于网格的自然多尺度聚类:它们在一个集群上输入所有的特征映射，并为该集群输出单个特性。在网格中，二元聚类的表现非常好关于度量和拉普拉斯变换(以及平移结构)。有一个很大的关于在图上形成多尺度聚类的文献，如[16,25,6,13]。发现图中可证明性能良好的多尺度聚类是仍然是一个开放的研究领域。在这项工作中，我们将使用一种朴素的凝聚法。

图1展示了具有相应邻域的图的多分辨率聚类。

Figure 1: Undirected Graph G = (,W) with two levels of clustering. The original points are drawn in gray.

2.3深度本地连接网络

空间构建从图的多尺度聚类开始，类似于[3]我们假设K范围。我们设且k=1hellip;K，我们定义,的分区集群，的每个元素的邻域集合:

有了这些，我们现在可以定义网络的第k层。我们假定没有损失普遍性,中定义的输入信号是一个真正的信号,我们通过的数量表示在每一层k上创建“滤波器”。网络的每一层将转换一个维信号索引到维信号由索引,因此权衡空间分辨率使用新创建的特性坐标。

更普遍的，如果是第k层的输入，那么它的输出就可以被定义为

其中是一个非零项位置由给出的的稀疏矩阵，输出的每一个操作结果都在集群，这个解释的说明如图2所示。

在现在的准则下，我们可以按照以下的说明来构造和

关于这个问题的详细情况，我们建议读者参阅[10]。

如果是邻域的平均支架，我们从(2.1)验证k层要学习的参数是

实际上，我们有

其中是个过采样因子，通常

空间结构可能显得幼稚,但它有一个好处,那就是它需要相对较弱图上的规律性假设。低内在维数的图具有局部邻域，即使不存在良好的全局嵌入。然而，在这种结构下，并没有简单的方法来诱导图中不同位置的权重共享。一种可能的选择是考虑将图形全局嵌入到低维空间中，这在实践中对于高维数据是很少见的。

光谱构建

图的全局结构可以利用图的拉氏谱来推广卷积算子。

3.1加权图的调和分析

组合的拉普拉斯算子L=D-W或函数的拉普拉斯是网格上拉普拉斯变换的推广；并且通过这些操作符，频率和平滑度相对于W是相关的。为了简单起见，这里我们使用组合拉普拉斯算子。如果x是一个m维向量，那么平滑度函数在节点i处的定义就是

并且有

根据这个定义，最平滑的向量是一个常数：

每个连续的

是L的一个特征向量,特征值允许从读出向量x的平滑度，等价于网格中定义的信号的傅里叶系数。因此，在网格的情况下，拉普拉斯算子的特征向量是傅里叶向量，拉普拉斯算子频谱上的对角算子调制它们的操作数的平滑度。此外，使用这些对角算子可以将滤波器的参数从减少到m。

上面这三个结构都通过拉普拉斯算法绑缚在d维网格 :

1. 过滤器是拉普拉斯算符∆的特征值的乘法器.
2. 相对于网格度规平滑，衰减系数快的函数的特征向量是∆的基础
3. 子样品的特征向量拉普拉斯算子是∆的低频特征向量。

3.2通过拉普拉斯光谱扩展卷积

如2.3所述，设W是一个指数用来表示的加权图，设V是拉普拉斯曲线图L的特征向量，由特征值排序。给定一个加权图，我们可以尝试通过对权值谱进行运算来推广卷积网络，权值谱是由其拉普拉斯曲线图的特征向量给出的。

为简单起见，让我们首先描述一个结构，其中每一层k=1hellip;K变换输入大小为的向量，输出大小为的向量，也就是说，没有空间二次抽样。

其中是对角矩阵，h是非线性实值。

通常情况下，只有拉普拉斯算子的前d特征向量在实际应用中是有用的，它是光滑的图形的几何形状。截止频率d取决于图的内在规律性还有样本容量。在这种情况下，我们可以用替换(3.2)中的V，这是通过保持V的前d列得到的。

如果图有一个基本的组不变性，这个结构可以发现它;最好的例子就是标准的CNN;见3.3。然而,在许多情况下,图没有一组结构,或该组织结构不与拉普拉斯算子交换，所以我们不能认为每个过滤器通过模板在和记录模板的相关位置。从某种意义上说，可能不是齐次的，正如我们将看到的5.1节的例子。

假设只保留拉普拉斯算子的d个特征向量,方程(3.2)表明,每一层需要参数。我们将在3.4节中看到如何结合图的全局和局部规律性来生成带有O(1)参数的层，即可学习参数的数量不依赖于输入的大小。

这种构造会受到这样一个事实的影响:大多数图只有在光谱的最顶端才有有意义的特征向量。即使单个高频特征向量没有意义，一组高频特征向量可能包含有意义的信息。然而，这种结构可能无法访问这些信息，因为它在最高频率下几乎是对角线的。

最后，在将非线性应用于空间一侧时，如何有效地进行前支撑或后支撑并不明显，因为我们必须进行代价高昂的V和乘法;然而，如何在光谱这一边做标准非线性并不明显,见4.1。

3.3重新发现标准的

在这种结构中，一个简单的，在某种意义上是通用的，权重矩阵的选择是数据的协方差。让是输入数据的分布,其中。如果每个坐标j = 1hellip;n有相同的方差，

然后拉普拉斯算子上的对角算子简单地缩放X的主分量,这可能看起来微不足道，但众所周知，主成分的图像集的大小是固定按频率组织的对应于离散余弦变换的基量，这可以通过观察图像是平移不变的来解释，因此协方差算子

上式满足，它由傅里叶基底对角化得到。此外,众所周知,自然图像表现出功率谱,因为附近的像素比远距离的像素更关联。结果表明，协方差的主成分基本上是从低频到高频的有序排列，这与傅立叶基的标准群结构是一致的。

其结果是，当应用于自然图像时，3.2中使用协方差作为相似核的构造方法在没有任何先验知识的情况下恢复了一个标准的卷积网络。实际上，Eq(3.2)中的线性算子在傅里叶基底上是由前面的参数对角线构成的，因此平移不变量，因此是“经典”卷积。此外，4.1节还解释了如何通过去掉拉普拉斯变换频谱的最后一部分来获得空间子采样，从而得到最大池，最终得到深度卷积网络。

3.4使用平滑的光谱倍增器进行O(1)构造

在标准网格中，我们不需要为每个傅里叶函数提供参数，因为滤波器在空间中是紧密支持的，但是在(3.2)中，每个滤波器需要为其作用的每个特征向量提供一个参数。即使在这个结构中过滤器在空间上得到了紧凑的支持，我们仍然不会得到每个过滤器少于O(n)个参数，因为每个位置的空间响应是不同的。

解决这个问题的一种可能性是推广网格的对偶性。在欧几里得网格中，函数在空间域的衰减转化为傅里叶域的平滑，反之亦然。它的结果x函数空间局部有平滑的频率响应。在这种情况下,拉普拉斯算子的特征向量可以被认为是被安排在一个网格同构原始空间网格。

这表明，为了学习一种层，其中的特征不仅可以跨位置共享，而且可以很好地定位在原始域中，可以学习平滑的光谱倍增器。平滑度可以通过只学习一组频率倍增器的次采样集和使用插值核来获得其余的，如三次样条。然而，平滑的概念需要谱坐标域的几何形状，这可以通过定义对偶图得到，如(3.1)所示。正如前面所讨论的，在规则网格上，这个几何图形是由频率的概念给出的，但这不能直接推广到其他图形。

一个特别简单的选择包括选择一维排列，可以根据特征值对特征向量的排序得到。在这一背景下，每个过滤器的对角线参数可以通过以下给出

虽然第5节的结果似乎表明拉普拉斯光谱给出的一维排列在创建空间局域滤波器方面是有效的，但一个基本的问题是如何定义捕捉光谱坐标几何的对偶图。一种可能的算法状态是考虑一个包含空间局域信号的输入分布，并通过测量谱域中的相似性来构造一个对偶图:。实例的相似性可以通过来度量。

与之前工作的关系

有大量关于在图上构造小波的文献，如[21,7,4,5,9]。在神经网络语言中，基于网格的小波基是一种具有一定可证明规律性的线性自编码器(特别是在对各类光滑函数进行编码时，保证了稀疏性)。向前传播的一个经典的小波变换强烈类似于向前传播神经网络,除了只有一个过滤器映射在每一层(通常是相同的过滤器在每一层),并且每一层的输出,而不是最后一层的输出。一般来说，过滤器不是用来学习的，而是便于规律性的证明。

在图中，目标是一样的;除了网格上的平滑被图形上的平滑所取代。在经典的情况下，大多数工作都试图根据图显式地构造小波(即不需要学习)，从而使相应的自编码器具有正确的稀疏性。在这项工作以及最近的[21]工作中，“滤波器”受到构造的限制，使其具有小波的一些规律性，但也经过训练，使其适合于独立于(但可能与)图上的平滑度相关的任务。当[21]仍然构建一个(稀疏)线性自编码器，保持基本的小波变换设置，这项工作的重点是非线性结构;特别是，试图建立类似CNN的。

另一项与当前工作相关的工作是从数据中发现网格拓扑。在[1

资料编号：[3749]