摘 要

本文通过对当下现有图像超分辨率技术的阐述，认真研究了其中具有代表的两种算法。通过对比FSRCNN和SRCNN两种算法的网络结构，训练过程和测试结果，来比较两种算法的优缺点和适用范围。最后得出相关的结论，为将来的研究方向提供新的思路。

论文主要研究了FSRCNN和SRCNN两种算法的优劣性。

研究结果表明：FSRCNN具有结构上的优越性。

本文的特色：将两种算法结合起来应用。

关键词：SRCNN；FSRCNN；神经卷积网络；图像超分辨率

Abstract

This article through to the present existing image super-resolution technique, studied by comparing the two algorithms is one of the representative FSRCNN SRCNN and two algorithms of the network structure, training process and the test results, to compare the advantages and disadvantages of two algorithms and the applicable scope and the relevant conclusions, which provides new thinking for the future research direction

Key Words：SRCNN；FSRCNN；Convolutional Neural Network；Super Resolution

目 录

第1章 绪论 1

1.1 研究背景及意义 1

1.2 图像超分辨算法的研究现状 2

1.3 超分辨率算法的评价指标 2

1.3.1主观评价 3

1.3.2客观评价 3

1.4本文的研究目的和思路 4

第2章 图像超分辨率算法的研究 6

2.1 基于插值的超分辨率重建方法 6

2.2 基于重建的超分辨率重建方法 6

2.3 基于学习的超分辨率重建算法 7

第3章 基于卷积神经网络的图像超分辨率 10

3.1卷积神经网络 10

3.2卷积神经网络核心思想 10

3.2.1局部感知 10

3.2.2权值共享 10

3.2.3 空间降采样 11

3.3卷积神经网络的结构 11

第4章 几种算法的比较 16

4.1 SRCNN 16

4.2 FSRCNN 18

4.2.1 FSRCNN的网络结构 18

4.2.2 FSRCNN的网络训练 20

4.3 训练过程 22

4.3.1 训练集 22

4.3.2 训练环境 23

4.3.3 训练过程 24

第5章 结论 28

参考文献 29

致 谢 31

第1章 绪论

1.1 研究背景及意义

如今高新技术快速发展，信息化、数字化时代已然来临，人们的生活日新月异。与此同时变化最快的，莫过于人们获取信息的速度越来越快，获取方法也越来越便捷。然而海量的信息出现的同时，人们也面临着新的问题。由于人们的注意力和信息处理能力是有限的，我们必须保证获取的信息足够有效，否则只会把时间浪费在无穷无尽的信息筛选中。这促使人们在当下，将更多的注意集中在如何“提高信息本身质量，从而提高信息的利用效率”上面。而图像作为人们日常生活中一种重要的信息载体，如何提高它的质量自然也受到了广泛关注。然而在平时的生产生活中，我们获得的图像质量常常会局限于设备、环境、网络等条件，而使得我们得到的原始图片是低分辨率、模糊或者信息不全的。如果想让设备、环境、网络等基础条件全部都达到理想状态，无论是从经济成本还是时间成本上来看，都是难以达到的事情。因此，如何借助信息不全的低分辨率图像来得到高分辨率图像，提升图片质量，已经成为了当下人们纷纷投身于研究的热门研究课题^[1]。超分辨率重建技术(Super Resolution, SR)也因此得到众多学者的关注和研究。

超分辨率其实就是一种算法，它的目的是通过增加图像中每个单元区域内的像素数量，使得图片能够为人们提供更多的有用的细节特征、纹理特征^[2]，从而达到由分辨率较低的图像生成分辨率较高的图像的目的。从实质上来解释，就是通过一种算法来增加重建图像的高频成分，并同时消除低分辨率图像成像过程中的产生的退化。图像分辨率是每英寸图像面积内拥有的像素点数，它的单位是PPI（Pixels Per Inch）^[3]。作为我们日常生活中经常提及的一个术语，它不仅仅是我们对图片是否清晰的“感觉”，更是科学领域里评估图像品质的重要指标，同时它还能凸显出图像的细节丰富度。高分辨率图像（High Resolution，HR）的像素密度相对较高，这意味着图像在单位面积所拥有的信息较多。与低分辨率的图像（Low Resolution，LR）相比，HR具有更加详细的信息，信息表达能力更加丰富。同时，在我们的视觉系统中，高分的画质也更加清晰细腻，在视觉观赏性方面的性能也更加优越。

超分辨率技术已广泛应用于很多领域中^[4]。在医学领域^[5]，当现有的医疗设备所成的像无法满足临床需求的时候，比如超声波、核磁共振设备^[6]采集到的图像往往不清晰，这个时候可以利用超分辨率来提高影像的医学价值，为医生的诊断提供参考；在遥感领域可通过对卫星拍摄的图像采用超分辨率技术，进而为勘测地形地貌、气象变化等提供精确的数据；在视频监控领域，由于监控摄像头本身的大多采集精度不高，而且摄像头距离目标较远，记录下的监控录像往往模糊，当警察需要查看具体的车牌^[7]、人脸、字迹的时候，也需要借助超分辨率技术来提取更多有用的细节；在图像压缩领域，鉴于分辨率较高的图像也同时占用较大的存储空间，在大批量图片的存储、传输方面十分不方便。所以人们时常先将高分辨率图像压缩为低分辨率图像，再进行存储传输，当需要用时再运用超分辨率技术进行还原。这样能高效地节省图片的存储空间。

1.2 图像超分辨算法的研究现状

超分辨率技术的出现可追溯到上个世纪60年代，Harris^[8]和 Goodman^[9]提出了将带限信号外推的方法对偶地运用到光学图像的超分辨率重建中^[10]，第一次利用多幅低分辨率图像的降采样的超分辨率重建技术解决了光学图像超分辨率重建的问题^[11]，为该技术在今后的研究应用奠定了良好的数学基础。在此基础之上，Huangi和Tsa^[12]在频域中，利用傅里叶变换的位移性质，完成了基于低分辨率图像序列的图像超分辨率重建，获取了分辨率更高的图像。Kim^[13]又等在前人的研究基础上创新，将先验条件例如噪声、局部运动等引入到模型中，提出了基于频率域递推的超分辨率算法。在图像超分辨率重建课题中，随着图像质量退化模型越来越被广泛应用，重建算法也越来越精确和高效。

根据处理的图像源不同，这些方法可以分为单帧SR(Single Image Super Resolution, SISR)和多帧SR算法。SISR算法即只使用一幅LR图像去重建，利用从图片中提取出来的先验知识和特征信息来进行图片中高频信息的恢复和完善，从而得到HR图像。而多帧SR算法是使用了多个LR图像，利用的是图像与图像之间存在的一些相同的和互补的信息来获得更多细节，从而进行图像的重建。按照算法不同作为分类的切入点，也可以将超分辨率技术分为以下几类：1.基于插值的超分辨率重建方法，2.基于重构的超分辨率重建方法，3.基于学习的超分辨率重建方法^[14]。具体的相关介绍将在第二章中展开。

1.3 超分辨率算法的评价指标

超分辨率算法的好坏大多数时候来源于人们对重建图片的视觉感受，这些视觉感受包括对图像细节的判断、对清晰度的高低的感觉等等。虽然不同的算法在不同的领域都有一套自己的评价指标，没有固定的准则。但从科学的角度，我们需要用统一的实验数据去比较不同方法重建图像质量的高低，比较出不同方法的优与劣。具体在图像超分辨率研究领域，人们一般从都是主观评价和客观评价两个方面入手，对重建图像进行评定^[15]。

1.3.1主观评价

主观评价，顾名思义，它指的是人们对于图像清晰度的主观的感受和评价，它是最与实际应用接轨的评价标准。因为算法处理出来的图片终究要运用到实际生活中去，如果不考虑人们的主观评价，容易出现科学结果与实际需求项分离的现象。