英语原文共 9 页，剩余内容已隐藏，支付完成后下载完整资料

基于迁移学习的小样本数据深度学习研究

赵伟

广东工业大学计算机学院，广州510006

广东工业大学与河源协同创新研究所，河源，517001.中国

通讯作者：274063681@qq.com

摘要：深度学习的卷积神经网络在图像识别领域取得了巨大的成功，然而，训练一个深度学习网络需要大量的数据样本。在实际工作中，很难得到一个大的训练样本数量多，在数据集有限的情况下容易过度拟合。针对这一问题，设计了一种基于迁移学习的深度卷积神经网络的小样本数据集。首先，采用数据扩充的方法来扩大样本数据集的数量。其次，利用迁移学习将训练好的网络(CNN)从大样本数据集迁移到小样本数据集,对于二次训练的样本数据集，它使用全局平均池而不是完全连接的层来训练网络，我们使用Soft max分类。该方法解决了小样本数据集的深度学习，提高操作效率。实验结果表明，该方法具有较高的识别率小样本数据集中的分类。

介绍

深度学习在图像识别领域取得了巨大的成功。深度学习的概念由此而来通过对人工神经网络的研究，形成了一种更为抽象的高层表示方法发现数据^[1]的分布式表示。Hinton等^[2-4]提出了一种算法基于深度信念网络的无监督贪心逐层算法，解决了相关的优化问题提出了具有深度结构的多层自动编码器的深度结构。然而,卷积LECUN提出的神经网络(CNN)是第一个改进的多层结构学习算法^[5]利用空间相对关系将BP网络的训练性能参数减少到。它主要用于手写体字符识别、图像分类等一些比较单一的领域计算机视觉。随着研究的深入，卷积神经网络的应用越来越广泛。Alex-Net ^[6]在图像分类领域取得了突破性进展。

在图像分类问题中，它具有突出的性能。但是CNN模型的训练是需要的参数数以百万计，标记样本数量众多。在实际工作中，我们只有几个样品培训。这会导致过度拟合，大大降低分类的准确性。在小样本数据集，它将花费大量的资源来训练一个新的CNN网络，这往往会导致过度拟合。

Alex Krizhevsky ^[6]提出了一种适用于大数据集的CNN网络，并取得了良好的效果。总裁Srivastava, Hinton^[21][23]提出了Dropout的方法，防止过拟合，有效降低了参数全连接层，解决了样本不足的问题。Oquab等人对[7]进行了再训练完整的连接层基于ImageNet分类源样本集对CNN进行训练，使用迁移学习的思想，将目标域放在标号样本上，并在跨域上取得了良好的效果Razavian等人的^[24]基于OverFeat网络模型在ILSVRC13数据库上训练，利用目标域中的少量标记样本，学习训练的特征以适应到目标域分类器。深度学习的局限性在于需要获取大量的训练数据来保证学习效果分类精度。Jason Yosinski等人。证明了迁移学习可以应用于相似迁移特征有效地跨域样本集和微调对新的目标域进行改进深度神经网络的性能。综上所述，虽然深度学习在大的方面有很好的表现样本数据集，但是对于跨域的小样本，仍然存在很大的问题。缺少样本的数量增加了直接训练的难度和过度拟合，导致分类精度下降。

本文将卷积神经网络与迁移学习^[7]相结合。基于迁移学习的一个混合模型（TLCNN-GAP），提出了卷积神经网络和全局平均池。其主要思想是利用在迁移后的CNN网络中，全局池化层^[8]代替了传统的全连接层训练同时保留Soft max层进行分类。这样可以减少参数的数量，增强样本间的泛化能力，并能有效减少过拟合。实验表明在小样本数据集中，该方法比传统方法具有更好的性能。

相关工作

图像特征的提取与分类一直是图像特征识别的基础和重要方向计算机视觉领域。卷积神经网络提供了一种端到端学习，通过训练实现卷积神经网络可以学习图像的特征并完成图像的特征提取和提取分类。1998年，Lecun等人利用基于梯度的反向传播算法提出了LeNet-5监督网络，通过全连通神经网络对图像进行特征表达分类，在手写体字符识别领域的成功已经引起了学术界的关注。在同一时期，卷积神经网络在语音识别^[9]、目标检测^[10]、人脸识别^[11]等方面的应用的研究逐渐发展起来。2012年，Krizhevsky等人[6]在大型图像数据库中提出了Alex NetImage Net^[12]图像分类大赛以准确率超过第二名11%的巨大优势夺冠冠军，使卷积神经网络成为焦点。还有一些新的模型如牛津大学的VGG (Visual Geometry Group)^[14]，谷歌的Google Net^[13]，微软的Res Net^[15]等等。这些网络不断取得新的结果，使得卷积的神经网络的快速发展。

典型的卷积神经网络主要由输入层、子采样层(池化层)等组成连接层和输出层。如图1所示。

图1：卷积神经网络的结构

迁移学习

迁移学习^[13]的目的是将源域的知识迁移到相关目标域^[17]。我们定义了一个域D，它包含一个特征空间X和一个边缘分布P (X)， X = {x1hellip;xn}将对应的任务T定义为标签空间Y和预测函数F()。预测范数可以是由特征向量和标签对{xi, yi}，其中xi X, yi y，即域D = {X, P (X)}和任务T = Y, f()。定义两个字段，一个用于源域DS，另一个用于目标域DT。在x ={(xS1 yS1)hellip;(xTn)}， DT = {(xT1, yT1)，hellip;(xTn)}。根据源域提供的数据和功能训练，将相关知识迁移到目标领域，提高性能目标域的预测函数。迁移学习有四种方法:通过案例迁移、特征迁移、基于定义源和目标域关系^[17]的共享权重和知识迁移。

传统的机器学习要求训练数据和测试数据具有相同的特征空间和相同的数据差异，也就是在同一个域中。然而，在实际场景中，很难获得训练数据将特征数据与测试数据进行匹配。随着迁移学习方法的引入，卷积神经利用网络^[14]实现了对小样本图像识别的显著而准确的改进数据库。在计算机视觉领域，Y. Aytar, T. Tommasi等人^[18][19] 试图通过在其他类中训练自适应分类器来克服一些排序任务中样本不足的问题。Oquab^[7]提出了一个很好的标签源数据训练卷积神经网络，然后提取相关知识，应用于目标领域的学习者，以获得良好的效果。这些工作展示了迁移学习的可能性和适用性。一些相似的样本图像数据集具有相似或相同的图像表示，我们可以通过传输来学习这些表示。

我们的方法

源域和目标域有一些相似之处。这种迁移学习具有很高的准确性的方法如下:1)提出卷积神经网络结构，对神经网络进行预训练源领域;2)增强小样本数据集(目标域)的数据;3)迁移受过培训的人员卷积神经网络卷积层;4)删除整个连接层，代之以一个全局池化层，最后用Soft max分类，这个模型如图2所示。

图2：TLCNN-GAP模型的迁移

预训练

为了得到更好的传递模型，我们需要对卷积神经网络进行相似的大规模训练用于小样本学习知识迁移的样本源域数据集。一般来说，CNN的基本结构由两层组成:1)特征提取层，每个神经元的输入和输出都与局部相连提取上一层的接受域，提取局部特征。2)特征映射层，网络的每个计算都由多个特征映射组成，每个特征映射是一个平面，这个平面是所有神经元的权值相等。特征映射结构使用函数f()作为a函数的卷积网络，使特征图具有位移不变性。常用的激活函数有sigmoid函数(如等式1)、tanh函数(如等式2)和ReLU近年来，ReLU因为它是线性的，收敛速度快，梯度不饱和;与其他函数相比，计算复杂度更低，只有a阈值可以被激活，为了减少过拟合问题产生的影响，本文选择ReLU作为训练前的网络激活功能。

(1)

(2)

(3)

在本文中，我们使用Krizhevsky[6]提出的ALEXO - NET作为我们的源域预处理CNN模型的网络结构(图3)由五个连续的卷积层C1-C5和三个全连接层组成。其中，最后一个全连接层的输出为Soft max。用于加工224times;224尺寸的RGB的形象。卷积层C1使用96个11 x 11 x 3个卷积核插入一个224 x 224 x 3的输入图像，并且滑动步长为4像素。卷积层C2使用256个5times;5times;96个卷积核来处理96个特征映射C1的输出。C3-C5层依次为3843times;3times;256,3843times;3times;384,2563times;3times;384个卷积核，其中FC6-FC8接口神经元数量为4 096,4 096,1 000个。所有层激活函数使用非饱和非线性函数， C1层和C2层都最大化结果特征图的池化和归一化，以及C5层的最大池化处理。

图3：Alex-Net的网络结构

数据增加

为了减少由于样本数据集小而导致的数据量过拟合问题，本文采用数据增强以增加样本的数量。在卷积神经网络中，数据增强是一种常见的方法有效降低过拟合[6][20]的方法。数据增强是一种添加若干几何图形的方法对原始图像数据进行变换，使用简单的图像处理方法来增加样本数量。它主要包括翻转、缩放、平移、比例、对比度、噪声和颜色。在本文中，我们首先对图像进行归一化处理小样本集，然后通过尺度变换，翻转变换和噪声增加样本的数量微扰。

混合模型TLCNN-GAP

传统的卷积神经网络完成底层网络的体积和特征的提取，高级网络使用低级网络提取特征映射进行全连接分类。然而,为了解决这个问题，Hinton等人^[21]提出了一种随机减少的Dropout方法在训练时充分连接主动元件层，有效减少过拟合。但这仍有很多参数。Min Lin, Qiang Chen等人提出使用全局池化层^[8]来代替传统CNN在全连接层(图4)。

图4:全连接和全局池化层

在卷积的最后一层，生成每个分类对应的物种的特征图的任务。通过简化特征映射和分类的一致性，减少了卷积中使用的特征映射结构简单。不需要为全连接的参数优化全局平均池层，减少参数。空间信息的累加使得输入空间的变换更加稳定提高泛华能力。这种方法更适合小样本集。智能化的对于小样本数据的问题，本文的分类器采用了Soft max回归。将预训练好的CNN模型迁移到我们的小样本数据集中，保留卷积层的知识去掉全连接层，并结合全局平均池和Soft max，形成一个新的模型培训。培训过程如下：

步骤1：读取小样本数据集并执行数据预处理。本文将图像归一化为大小，然后对数据进行增强。

步骤2：在源域上引入预训练好的CNN模型，提取卷积层C1-C5，和迁移到小的示例数据集。

步骤3：将从迁移卷积层中提取的图像转换为特征提取。

步骤4：引入全局平均池，而不是用于培训的全连接层。对于每个feature map a全图的全局池化层，使每个功能图可以得到一个输出。每个特征映射对应输出特性，然后这个特性表示输出类的特性。

第5步：使用Soft max回归层进行监督学习练习，因此微调迭代计算整个网络训练参数，得到最终一组网络构造参数向量。

实验

为了验证所提方法的有效性，将该方法与现有的几种方法进行了比较。表1和表2中的CNN模型是指TCNN参考了aet al.^[6]的方法，加入了自适应特征层。TLCN - GAP是全球卷积池的一个模型提出了基于迁移学习的神经网络。打击KRIZHEVSKY提出的训练有素的CNN模型使用AlexNet模型直接提取和分类特征在一个小的示例数据集上。分类精度将分别在Pascal VOC2007和Caltech10数据集上测试并进行比较其他类似的方法。帕斯卡VOC2007的数据集有20大类，共9963幅图像，我们从中提取了部分。

我们随机选择了10个类别，每个类别100个，其中60个作为我们的样本数据集训练集，另外40个作为我们的测试集，总共1000张图片。在Caltech10数据集中有10个类别，培训图片5万张，测试图片1万张。我们随机选择了5个类别，每个类别选择50个图片作为训练集，30张图片作为测试集，共400张图片。使用平均准确率作为图像分类正确率评价标准。

在本文中，我们使用ImageNet作为源域来完成对ImageNet数据集的预处理。本文将ALEXO - NET卷积神经网络与训练模型C1-C5相迁移，作为一个小型的卷积神经网络采样目标域以提取特征。利用C1-C5层参数提取小的特征映射设定样本目标作为后续培训的输入。然后将我们提出的TLCN - GAP模型方法应用于小样本目标训练数据集测试数据集完成训练和分类测试。

表1。比较基于Pascal VOC2007的每种方法的平均准确率(%)