摘 要

最近一些年，随着现实应用中深度学习领域需要完成的任务越来越复杂，导致了卷积神经网络的层数越来越多，结构越来越复杂，由此导致了神经网络的参数不断地大量增加和计算任务的复杂化，然而现有的硬件计算平台的计算资源和存储空间达不到卷积神经网络所要求的标准。因此，二值化卷积神经网络的想法是非常必要的。本文基于这一现状提出了一种新的二值化卷积神经网络模型以及其算法，将其应用在硬件平台FPGA上，并观察实验结果是否达到预期标准。本文首先分析了国内外卷积神经网络的开发和需求，接着介绍了FPGA的结构和操作原理，最后提出了一种新的卷积神经网络二值化算法，并分析了实验结果。实验结果表明，本文提出的新的二值化神经网络模型可以满足预期的标准。

关键词：深度学习；卷积神经网络；二值化；FPGA

Abstract

Some recent years, with the depth in real application area need to complete the task of learning more and more complex, led to the convolutional neural network more and more the number of layers, the structure is more and more complex, thus result in a great increase in the parameters of the neural networks continuously and calculation of complicated task, however, the existing hardware computing platform computing resources and storage space can not meet the standards required by the convolution neural network. Therefore, it is very necessary to propose a binary convolutional neural network. Based on this situation, a new binary convolutional neural network model and its algorithm are proposed in this paper, which is applied to the hardware platform FPGA, and the experimental results are observed to meet the expected standard. This paper first analyzes the development status and necessity of binary convolutional neural network at home and abroad, then introduces the structure and working principle of FPGA, and finally proposes a new binary algorithm of convolutional neural network and analyzes the experimental results. The experimental results show that the new binary neural network model proposed in this paper can reach the expected standard.

Key Words：deep learning; Convolutional Neural Network; Binarization; The FPGA

目录

第1章 绪论1

1.1研究背景及意义1

1.2国内外研究现状3

1.2.1卷积神经网络的研究现状3

1.2.2二值化神经网络研究现状3

1.2.3硬件加速平台研究现状4

1.3本文研究内容6

1.4本文结构安排7

第2章 卷积神经网络及其二值化的理论概述8

2.1卷积神经网络理论概述8

2.1.1深度学习与卷积神经网络简介8

2.1.2卷积神经网络的基本结构12

2.2神经网络量化方法概述16

2.2.1神经网络的量化16

2.2.2二值化神经网络理论概述17

2.3本章小结18

第3章 深度学习算法的FPGA实现19

3.1 FPGA结构及其原理概述19

3.1.1 FPGA的结构19

3.1.2 FPGA的工作原理21

3.2深度学习算法的FPGA开发概述21

3.2.1硬件描述语言开发FPGA概述21

3.2.2高级编程语言开发FPGA概述22

3.2.3 FPGA开发优化方法概述23

3.3本章小结23

第4章 二值化卷积神经网络的算法设计及分析24

4.1卷积神经网络的二值化算法设计24

4.2二值化卷积神经网络实验结果分析25

4.3本章小结30

第5章 卷积神经网络二值化算法的FPGA实现31

5.1神经网络的整体架构分析31

5.2卷积层模块分析31

5.3激活层模块分析32

5.4池化层模块分析33

5.5本章小结34

第6章 总结与展望35

6.1总结35

6.2展望35

参考文献36

致谢38

1. 绪论

1.1研究背景及意义

最近一些年，基于深度学习算法的图像识别、目标检测技术如人脸识别有了长足发展，精确度不断地得到提高。现在，在深层技术中最广泛使用的神经网络是深层神经网络DN和当前神经网络RNN。其中最引人注目的功能是卷积神经网络。比其他的视觉识别算法都优秀，超过了人的视觉精度。在各种设备上实现通用机器视觉和智能起着重要的作用，但是随着数据处理规模的增大，CNN网络架构的复杂度也会增加，因此还有另一个很大的问题，那是计算性能， CNN有可能包含数百万的浮点参数，要识别各个图像需要几十亿的浮点运算。而且由于深度学习模型庞大的模型体积以及其巨大的运算量对能够运行这类算法的计算设备提出了很高的要求，深度学习技术在工程上的应用受到了严重的限制。而且，随着研究人员探索更深的网络，这些需求有增加的倾向。例如，ILSVRC的Imagenet 2012大规模视觉识别大赛的优胜者Alexnet，需要计算每个图像的224 mb参数和140亿浮点运算。而ILSVRC2014的VGG-16要求每个图像都要计算552MB的参数以及30.8亿次浮点运算。能否解决深度模型对运算量和存储量的巨大需求直接决定了未来深度学习计数能否在工程应用方面继续取得长远发展。

在2012年的ImageNet大赛中，Alexnet的出色成果，引导了卷积神经网络的深度学习应用程序的新水平的开发。之后，卷积神经网络发展成了Network In Network、VGG、Inception、ResNet等卷积神经网络模型。不断刷新了深度学习在图像处理任务上的最佳表现^[1][3]，但是这些网络模型都具有上述所提出的问题，目前一些网络量化技术如二值化神经网络提出为解决这个问题提出了一个新思路。