摘 要

深度卷积神经网已经广泛应用于图像识别、视频分析、自然语音处理等领域，由于任务的复杂程度不断提升，如今的网络模型变得越来越大，使得深度卷积神经网络在移动设备上的应用变得困难。

本文试图通过对深度卷积神经网络进行压缩，去除网络中冗余的参数，削减模型大小，从而克服深度卷积神经网络在应用上的困难。本文探索了VQ压缩算法的性能，并将其应用于卷积层和全连接层的压缩，可以将243.9M的AlexNet压缩至15.95M，压缩倍数达到15.29倍，而准确率损失为0.52%。随后通过对VQ压缩结果进行微调，即本文对该算法的一点改进，使其压缩性能得到提升，并在MNIST网络上得到了压缩22.7倍，准确率损失0.05%的结果。最后，对该算法进行了进一步挖掘，给出了基于该算法的前向加速和减小网络前向运行内存的方法。

关键词：深度学习；卷积神经网络；参数压缩

Abstract

Deep convolutional neural networks (DCNNs) have been widely used in the field of image recognition, vedio analysis, natural language processing and so on. Due to the lifting complexity of the task, DCNNs’ model size become very large, which hindered its applications on memory limited and computation resource limited mobile devices.

The work of this paper aims to solve this problem by compressing DCNNs, which removes the redundancy of the network and reduce the model size of DCNNs. The VQ method is explored, and applied to compress the convolutional layers and fully connect layers. The method can compress AlexNet 15.29 times from 243.9M to 15.95M with accuracy dropped 0.52%. Improvements of finetunning the result of VQ method is carried out in the paper, which make the performance of VQ method even better. Finally, a method to speed up DCNNs and reduce its running memory is proposed based on the VQ method.

Key Words: Deep learning; CNN; compressing

目 录

摘 要 I

Abstract II

第1章 绪论 1

1.1 卷积神经网络发展历史及应用 1

1.2 深度卷积神经网络在应用上的困难 2

1.3 参数压缩研究现状 2

1.4 论文的章节安排 3

第2章 卷积神经网络基础 4

2.1 人工神经网络简介 4

2.2 卷积神经网络基本概念 6

2.2.1 局部感知 6

2.2.2 参数共享 6

2.2.3 聚合 8

2.2.4 输入层 8

2.2.5 卷积层 9

2.2.6 聚合层 9

2.2.7 全连接层 10

2.2.8 输出层 10

2.3 卷积神经网络的训练 11

2.3.1 前向传播 11

2.3.2 反向传播 12

第3章 caffe深度学习框架 14

3.1 caffe简介 14

3.2 使用caffe搭建神经网络 14

3.3 定义训练参数并训练网络 15

3.4 网络模型的测试方法 16

3.5 网络参数的提取 17

第4章 常用的参数压缩方法 19

4.1参数压缩问题概述 19

4.2 SVD方法 19

4.3 连接与权值学习方法 20

4.4 VQ方法 20

4.4.1 Scalar Quantization 20

4.4.2 Product Quantization 21

4.5三种压缩方法的分析 21

第5章 VQ参数压缩方法实验及其改进 22

5.1 VQ方法实验设置 22

5.1.1 实验所用模型说明 22

5.1.2 卷积层压缩 22

5.1.3 全连接层压缩 22

5.2实验结果及分析 23

5.2.1 实验结果 23

5.2.2 实验结果分析 24

5.3 VQ方法的改进 25

5.4 改进之后的实验结果 26

5.5 VQ方法的进一步挖掘 27

第6章 总结与展望 28

6.1 工作总结 28

6.2 未来展望 28

参考文献 29

附 录 31

致 谢 40

第1章 绪论

1.1 卷积神经网络发展历史及应用

在科学家们发现活体动物的视觉机制之后，机器学习科学家们设计出了卷积神经网络。在1968年的一篇文章^[1]中科学家们发现哺乳动物的视觉皮层有着复杂的细胞排列，这些细胞负责探测光线。另外视觉皮层还包含对应于视觉区域的重叠的下层区域，被称为感受野（receptive fields）。这篇文章指出了视觉皮层中的两种基本细胞：1. 简单细胞，对于它们的感受野内物体的边缘之类的模式最敏感；2. 复杂细胞，这类细胞有更大的感受野，对于模式的位置有着局部不变性。这些细胞像是对输入空间的局部的滤波器。

1980年科学家们提出了卷积神经网络的前身——神经认知机^[2]。神经认知机与卷积神经网络之间的区别在于，神经认知机不强迫局部的神经元有相同的参数。这个想法是在早期的后向转播算法的论文中提出的。1988年被用来进行时序信号的检测。这种设计在1998年得到了改进，并在2003年得到了推广和简化。著名的LeNet-5^[3]可以成功地识别手写数字图像，并且被应用于手写支票的数字的识别。但是，对于更加复杂的问题，网络的宽度和深度都会增加，由于当时计算资源的限制，神经网络变得不可训练，因而也没能体现出它的全部性能。

自2005年第一篇基于显卡通用计算（GPGPU）的机器学习论文^[4]发表之后，一些论文提出了一些基于GPU计算的更有效率的训练卷积神经网络的方法。到2011年，卷积神经网络都在GPU上进行计算，并且得到了令人惊艳的结果。在2012年，Ciresan等^[5]利用卷积神经网络显著地提高了在一些图像数据集上的结果，包括MNIST数据集，NORB数据集，HWDB1.0数据集（汉字），CIFAR10数据集，以及ImageNet数据集等。

卷积神经网络的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。