摘 要

大部分视觉应用的效果都依赖于图像的质量，而对于图像中难以辨认的小目标进行超分辨率，使之能够被辨认显得尤为重要。超分辨率重建图像小目标，输入一幅或多幅低分辨率图像，通过算法输出一幅高分辨率图像，近年来比较流行的是基于卷积神经网络的超分辨率算法，这类算法训练参数较多，重建出的图像平滑，图像观感不清晰。也有采用生成对抗网络的超分辨率算法，这类算法重建出的图像较锐利，不过普遍存在高频噪声干扰的问题，重建出的图像细节部分存在扭曲的纹路。为解决以上问题，本文综合了深度卷积神经网络和生成对抗网络，依照其各自的优点，提出了一种深度增强型残差生成对抗网络图像超分辨算法。

本文主要的工作及创新点如下：（1）对国内外研究现状进行了研究，总结了具有代表性的几种图像超分辨率方法，分析了它们的优缺点。（2）本文结合卷积神经网络包含噪声少和生成对抗网络对复杂纹理恢复效果好的优点，提出了深度增强型残差生成对抗网络，网络采用了新的生成器损失函数，使用了加入增强型残差网络的生成器网络结构。（3）将本文提出的算法与比较经典的图像超分辨率算法进行了实验对比，本文算法在视觉效果上与基于卷积神经网络的超分辨率图像差别不大，在峰值信噪比和结构相似度等评价指标上优于原始的基于生成对抗网络的超分辨率重建算法。

关键词：生成对抗网络；图像超分辨率；卷积神经网络；残差网络

ABSTRACT

The effect of most visual applications depends on the quality of the image, and it is especially important to super-resolution the small targets that are difficult to recognize in the image so that they can be recognized. Super-resolution reconstruction of small targets, input of one or more low-resolution images, and output of a high-resolution image by algorithm. In recent years, super-resolution algorithms based on convolutional neural networks are popular. There are many parameters, the reconstructed image is smooth, and the image is not clear. There are also super-resolution algorithms that generative adversarial networks. The images reconstructed by such algorithms are sharper, but there is a widespread problem of high-frequency noise interference, and the reconstructed image details have distorted textures. In order to solve the above problems, this paper combines deep convolutional neural networks and generative adversarial networks. According to their respective advantages, this paper proposes a deep enhanced residual generative adversarial networks image super-resolution.

The main work and innovations of this paper are as follows:(1) The research status at home and abroad is studied, and several representative image super-resolution methods are summarized, and their advantages and disadvantages are analyzed. (2) Combining the convolutional neural network with the advantages of less noise and generative adversarial networks restores image detail and texture better, a deep enhanced residual generative adversarial networks is proposed. The network adopts a new generator loss function and uses join enhancement. The generator network structure of the type residual network. (3) The algorithm proposed in this paper is compared with the classical image super-resolution algorithm. The visual effect of this algorithm is not much different from the super-resolution image based on convolutional neural network. The peak signal-to-noise ratio and structure The similarity evaluation index is superior to the original super-resolution reconstruction algorithm based on the generative adversarial networks.

Key Words: Generative adversarial network; Image super-resolution; Convolutional neural network; Residual network

目 录

摘 要 I

ABSTRACT II

第1章 绪论 1

1.1课题研究背景、目的及意义 1

1.2国内外图像超分辨率的研究现状及分析 3

1.3主要研究内容及文章组织结构 4

1.3.1主要研究内容 4

1.3.2文章的组织结构 5

第2章 多种超分辨率算法分析 5

2.1基于插值的图像超分辨率算法 5

2.2基于稀疏表示的图像超分辨率算法 6

2.3基于卷积神经网络的图像超分辨率算法 7

2.4基于生成对抗网络的图像超分辨率算法 7

第3章 基于深度学习的超分辨率重建理论基础 9

3.1人工神经网络理论概述 9

3.1.1感知器与S型神经元 9

3.1.2反向传播与梯度下降 11

3.2卷积神经网络基础及超分辨率重建应用 12

3.2.1局部感受野与参数共享 12

3.2.2多层卷积与池化 12

3.2.3批标准化 14

3.2.4卷积神经网络超分辨率应用 14

3.3生成对抗网络基础及超分辨率重建应用 15

第4章 深度增强型残差生成对抗网络图像超分辨率算法 16

4.1残差网络的基本概念及改进 17

4.2基于增强型残差网络的生成器的设计 18

4.2.1生成器网络结构 18

4.2.2针对小目标网络输入的改进 19

4.2.3针对小目标网络损失函数的改进 21

4.3判别器的设计 23

第5章 网络训练及结果分析 24

5.1评价指标 24

5.2数据集的选取 25

5.3训练过程 27

5.5实验结果分析 27

第6章 结论 35

致谢 40

第1章 绪论

1.1课题研究背景、目的及意义

图像的空间分辨率是指在图像中最小可辨认出的物体临界几何长度的分辨率极限，即对微小物体的分辨率，通常取决于对应镜头和传感器的性能。近年来随着图像传感器性能的不断发展，拍摄所得图像的分辨率达到了一个新的高度，但是图像超分辨率（Super-Resolution，SR）的需求依然不可忽视。更高分辨率的图像往往能够帮助人们获取更多图像上的细节信息，提高人们观看图像中物体的视觉体验。

在遥感图像^[1]中，由于现有成像设备和观测距离的限制，遥感图像中某些微小的细节信息往往模糊不清，无法辨认。超分辨率之后可以帮助辨认出图像上的更多物体的细节信息，对损失的信息量进行一定程度的恢复。在医学影像^[2]中，B超、核磁共振和X射线成像所得到的血管、神经末端或者是骨裂等微小的损伤往往分辨率较低，图像超分辨率可以在一定程度上还原丰富的细节信息，能够更好地显示出病变部位的细节部分，提供更多的信息辅助医生诊断。

图1.1 医学影像图像多种超分辨率对比

在安防监控^[3]中，有时候由于设备观测距离过远，拍摄的人脸或者是车牌等信息所占图片像素过低，使人难以辨认人脸或者具体数字。采用图片超分辨率处理可以在一定程度上还原人脸和数字的细节信息，有效地帮助人们进行人脸的检测和数字的识别。

图像超分辨率分为硬件方式和软件方式，硬件方式最直接的方法就是增加单位面积感光元件的像素数量，每个像素的尺寸减小，整个图像的分辨率就得到了提高。但是像素密度高带来的主要问题是单个像素所占的面积减小，导致通光率降低，使得图像中出现大量噪声，使得总体画质下降，而且单位面积感光元件密度太大使得良品率大幅度下降，高密度感光元器件成本大幅度增加而且包含噪点多，效果不好。基于硬件的方法还有在X轴和Y轴上分别机械移动感官元件半个像素的过程可以将图像的分辨率提升4倍，例如在640*480的传感器上在每个轴移动半个像素拍摄的图像合成之后将产生1280*960的图像，其过程如图1.2所示。

图1.2 每次移动传感器一像素拍摄示意图

不过这种方式对传感器移动的精度要求极高，而且拍摄的图片必须是静态图像，对于动态图像无法间隔拍摄低分辨率图像然后合成高分辨率图像，局限性比较大。对于图像中的小目标，在原始图像分辨率条件下难以辨认的情况下，考虑到硬件方式的成本和局限性等原因，常常采用软件方式进行图像的超分辨率提高，软件方式对硬件的要求较低，成本较低，限制条件较少，具有较为丰富的纹理细节，可以显示出更多有价值的物体细节信息，在医学影像、遥感成像和安防监控等领域有着广阔的应用前景。综合以上方面考虑，本文选取的是通过软件的方式进行图像超分辨率重建。

图像超分辨率从输入图像的角度来看可以被分类为单幅图像超分辨率^[4,5]（Single Image Super-Resolution，SISR）和多幅图像超分辨率^[6]（Multi-Image Super-Resolution，MISR）。目前，SISR相较于MISR更为流行，因为其对图像进行超分辨率处理的效率相对较高，要求较低。但是超分辨率其本质是一个病态的逆问题，从低分辨率图像（Low-Resolution，LR）中无法获取足够的图像先验知识，导致其对应的高分辨率图像（High-Resolution，HR）不存在唯一解，只能通过正则化的方法约束解的空间，来逼近问题的解，做到尽可能地接近原始高分辨率图像，达到更加逼真的超分辨率效果。

1.2国内外图像超分辨率的研究现状及分析

一般的SISR算法从一个LR图像中尽可能地利用其中的图像先验信息，然后产生一个尽可能贴近原图的HR图像。根据其用到的图像先验信息的多少，可以分为以下四类方法^[7]：

1.基于预测的方法（Prediction Models）：这类SISR算法不需要训练数据，仅仅通过一个预定义的数学公式，输入LR图像输出HR图像。其中就有基于插值的方法，例如双三次插值^[8]（Bicubic Interpolation），通过加权平均邻近LR的像素值来生成HR的像素值。插值后产生的HR像素值与其邻域内的像素值局部相似，所以图像总体平滑，在物体边缘和高频区域没有足够的梯度。还有基于图像配准的超分辨率重建方法^[9]，利用一个预定义的从HR图像到LR图像的下采样模型进行超分辨率重建。给定原始HR图像的情况下，该方法通过预定义的下采样模型迭代生成LR图像，并将LR中的差异映射补偿回HR图像。由于在线性下采样模型下生成的HR图像与LR输入图像最匹配，因此边缘对比度比双三次插值得到的结果得到了更好的提升。

2.基于边缘的方法（Edge Based Methods）：这种方法主要是利用了人眼对于图像边缘信息更加敏感，从图像边缘信息中提取出先验信息，例如边缘^[10]的长度和宽度或者是图像中梯度^[11]的参数，用于重建HR图像。由于学习的先验信息主要是从边缘提取的，所以重建的HR图像具有高质量的边缘轮廓、一定的锐度以及一些伪影，不过对于图像中的纹理等高频结构的效果较差。

3.图像统计的方法（Image Statistical Methods）：LR图像中的各种性质都可以作为预测原始HR图像的先验信息。重尾梯度分布^[12]被用在图像超分辨率。利用一般图像中大梯度较为稀疏的特性来减小计算量和规范化LR输入图像。

4.基于图像块的方法（Patch Based Methods）：基于图像块的方法提供一组成对的LR图像和对应的HR图像用作训练数据，在训练过程中能够裁剪出图像块来学习从LR图像到HR图像的映射函数。有许多通过训练数据集来学习映射函数的方法被提出，例如核回归^[13]、支持向量回归^[14,15]、稀疏字典表示^[16,17]以及最近流行的卷积神经网络^[18]（Convolutional Neural Networks，CNN）。近年来，基于深度学习的图像超分辨率算法，例如Chao等人的SRCNN^[19]，其计算速度快，性能突出，直接学习从低分辨率图像到高分辨率图像的端到端的映射函数，已经被证明相对于基于插值和其他基于学习的方法在最终的峰值信噪比^[20]（Peak Signal to Noise Ratio，PSNR）和结构相似性^[21]（Structural Similarity，SSIM）有着巨大的优势，图像超分辨率的效果更好。

1.3主要研究内容及文章组织结构

1.3.1主要研究内容

随着近年来许多深度学习的大热，其在图像超分辨率领域展现出广阔的发展前景，成为近几年的研究热点，各类基于深度学习的图像超分辨率重建算法层出不穷。但是有的算法还是存在一些值得改进的地方，在研究了C Ledig等人提出的SRGAN^[22]在图像超分辨率的方法之后，发现其能够生成逼真的纹理，但是其生成的高分辨率图片中却包含很多高频噪声，图像中细节的边缘和纹理部分遍布扭曲而不自然的纹路，这使得其最终图片与原图进行对比时得到的PSNR和SSIM等评价指标较低。而一般的基于CNN的图像超分辨率算法生成的高分辨率图片与原图进行对比时得到的PSNR和SSIM等评价指标的数值较高，但是生成的图片通常过于平滑，感知质量较低，尤其是在放大比例较大时。

所以本文考虑到上述问题提出了一种基于深度学习的图像超分辨率重建算法，基于GAN网络的思想，针对SRGAN中包含高频噪声较多的问题对其生成器网络进行了改进，结合NTIRE2017超分辨率挑战赛第一名的增强深度超分辨率网络EDSR^[23]，将其生成图像中包含高频噪声较少，图像较为平滑，得到的图像PSNR和SSIM指标更高等优点结合到SRGAN网络中，创建出一个新的深度增强型残差生成对抗网络（EDSRGAN）。

本文算法主要针对SRGAN网络中的生成器部分进行了改进，改进了网络结构，融合了VGG网络^[24]损失和生成对抗损失的新的损失函数，追求更高的PSNR和SSIM评价指标和图像中高频纹理细节的均衡。运用这个网络对图像进行超分辨得到的高分辨率图片的PSNR和SSIM等评价指标的数值相对于SRGAN较高，且生成的纹理较为逼真，有效抑制了SRGAN中出现的许多高频噪声和产生的扭曲纹路。

本文主要内容如下：

（1）复现了基于深度学习的经典的图像超分辨率重建算法，从原理部分或者是图像超分辨率效果部分分析这些算法的优缺点以及局限性。

（2）简单地说明了如何使用深度学习和神经网络如何进行图像超分辨率工作，分析了不同的网络结构之间的优缺点，重点对于生成对抗网络进行了分析，对其相关的公式进行了推导。

（3）阐述了增强型残差网络的改进及改进后的优点，对生成器网络和判别器网络的构造进行了详细的说明。

（3）最后分析了本文提出的算法的训练过程，并将结果与几个经典的图像超分辨率算法得到的结果进行了比较，并对指标结果进行了分析。

1.3.2文章的组织结构

本文共分为六章，每个章节的主要内容如下：

第1章说明了图像超分辨率的研究背景、目的及意义，简单介绍了图像超分辨率的基本原理，列举了图像超分辨率的方法分类，简单概括分析了这些类别的优缺点。最后列出了本文各个章节的内容安排。

第2章针对比较经典的图像超分辨率进行了说明与分析，包括稀疏编码、双三次插值、SRCNN、SRGAN、EDSR和WDSR，说明了其中一些方法的缺点和局限及其原因。

第3章主要介绍卷积神经网络和生成对抗网络的基础概念，首先是对人工神经元的相关知识进行了铺垫，接着是卷积神经网络和生成对抗网络的相关概念的说明讲解。

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：