前几年，深度学习在解决诸如图像目标识别、语音识别和自然语言处理等很多方面都表现出色。在各种类型的神经网络当中，卷积神经网络的研究最为深入。早期由于缺乏训练数据和计算能力，要在不产生过拟合的情况下训练出高性能卷积神经网络是很困难的。ImageNet这样的大规模标记数据的出现和GPU计算性能的快速提高，使得对卷积神经网络的研究迅速井喷。

20世纪 90年代，LeCun等人发表论文，确立了CNN的现代结构，后来又对其进行完善。然而，由于当时缺乏大规模训练数据，计算机的计算能力也跟不上，LeNet-5对于复杂问题的处理结果并不理想。之后，人们设计了很多方法，想要克服难以深度训练CNN的困难。其中，最著名的是Krizhevsky等人提出了一个经典的CNN结构，并在图像识别任务上取得了重大突破。从结构看，CNN发展的一个方向就是层数变得更多，通过增加深度，网络便能够利用增加的非线性得出目标函数的近似结构，同时得出更好的特性表征。但是，这样做同时也增加了网络的整体复杂程度，使网络变得难以优化，很容易过拟合。研究人员提出了很多方法来解决这一问题。

三大改进型CNN：

ZFNet对AlexNet的改进首先在第一层的卷积核尺寸从11x11降为7x7，同时将卷积时的步长从4降至2。这样使中间的卷积层扩张从而可以捕捉到更多的信息。

VGGNet 将网络的深度扩展到了19层，并且在每个卷积层使用了3x3这种小尺寸的卷积核。结果证明深度对网络性能有着重要影响。

GoogleNet 同时增加了网络的宽度与深度，并且相比于更窄更浅的网络，其在没有明显增多的计算量的情况下使网络性能明显增强。

池化层改进：

池化层是CNN的重要组成部分，通过减少卷积层之间的连接，降低运算复杂程度。以下是常用的几种循环方法：

1）Lp池化：Lp池化是建立在复杂细胞运行机制的基础上，受生物启发而来

2）混合池化：受随机Dropout和DropConnect , Yu et al.启发而来