摘 要

超分辨率重建是指将低分辨率的图像还原为与其对应的高分辨率的图像。它在医学成像、遥感卫星图像、视频监控等领域都有着重要的应用。近几年，随着深度学习的兴起，研究者们将深度神经网络应用到超分辨率重建领域，并且在重建的图像质量上取得了突破。使用深度神经网络重建的图像虽然在峰值信噪比和结构相似性等指标取得了较高的评分，但是在视觉效果上并不理想。本文针对这个问题，研究如何重建视觉效果更好的图像，并做了如下工作：

(1)针对基于深度神经网络的超分辨率重建算法在重建图像的视觉效果上不理想的问题，本文深入研究了生成对抗网络和深度残差网络的原理，设计了基于生成对抗网络的图像超分辨率重建算法，将深度残差网络作为生成对抗网络的生成网络部分，并去掉了深度残差网络的残差块中多余的批规范化操作，将MSE损失函数改进为L1损失函数，以进一步提高图像重建效率和效果。

(2)研究了峰值信噪比和结构相似性指标的原理，并分析其在图像质量评估中的优势和不足，针对其无法准确反映图像视觉的问题，引入更能反映图像视觉效果的平均意见得分指标。

(3)设计实验，实现算法，进行结果分析。分别进行了残差块改进实验，损失函数改进实验和重建图像质量对比实验。基于峰值信噪比、结构相似性和平均意见得分三个指标进行实验，实验结果表明本文算法在训练速度和重建图像的视觉效果上都优于当前的超分辨率重建算法。

关键词：超分辨率重建；深度学习；生成对抗网络；深度残差网络

Abstract

Super-resolution reconstruction refers to restoring a low-resolution image to its corresponding high-resolution image. It has important applications in medical imaging, remote sensing satellite images, video surveillance and other fields. In recent years, with the rise of deep learning, researchers have applied deep neural networks to the field of super-resolution reconstruction and have made breakthroughs in the quality of reconstructed images. The image reconstructed by using deep neural network has a high score in peak signal-to-noise ratio and structural similarity, but it is not ideal in visual effects. This thesis addresses this issue by studying how to reconstruct images with better visual effects and does the following:

(1) For the problem that the super-resolution reconstruction algorithm based on deep neural network is not ideal for reconstructing the visual effect of images, this thesis deeply studies the principle of Generative Adversarial Network and Deep Residual Network. And designs an image super-generation based on the Generative Adversarial Network. The resolution reconstruction algorithm uses the Deep Residual Network as the generating network part of the Generative Adversarial Network. Removes the extra batch normalization operation in the residual block of the Deep Residual Network and improves the MSE loss function to the L1 loss function to further improve Image reconstruction efficiency and effectiveness.

(2) The principle of peak signal-to-noise ratio and structural similarity index is studied, and its advantages and disadvantages in image quality assessment are analyzed. For the problem that it cannot accurately reflect image vision, mean opinion score that can better reflect the visual effect of the image is introduced.

(3) Design experiments, implement algorithms, and analyze results. The residual block improvement experiment, the loss function improvement experiment and the reconstructed image quality comparison experiment were performed respectively. Experiments based on the peak signal-to-noise ratio, structural similarity and mean opinion score were performed. The experimental results show that the proposed algorithm is superior to the current super-resolution reconstruction algorithm in the training speed and visual effects of reconstructed images.

Key Words：Super-resolution reconstruction；Deep learning；Generative Adversarial Network； Deep Residual Network

目 录

第1章 绪论 1

1.1 研究背景及意义 1

1.2 国内外研究现状 1

1.3 超分辨率重建难点 3

1.4 本文主要工作 3

1.5 论文结构安排 3

第2章 图像超分辨率重建 5

2.1 图像超分辨率重建基本概念 5

2.2 图像超分辨率重建算法分类 5

2.2.1 基于插值的方法 6

2.2.2 基于学习的方法 7

2.3 图像超分辨重建质量评估 7

2.3.1 峰值信噪比 7

2.3.2 结构相似性 8

2.3.3 平均意见得分 10

2.4 本章小结 10

第3章 基于生成对抗网络的图像超分辨率重建算法 12

3.1 生成对抗网络 12

3.2 深度残差网络 13

3.3 算法设计与改进 14

3.3.1 损失函数 14

3.3.2 生成网络结构 16

3.2.3 判别网络结构 17

3.4 本章小结 17

第4章 实验及结果分析 19

4.1 实验环境 19

4.2 实验设计及结果分析 19

4.2.1 损失函数改进实验 19

4.2.2 残差块改进实验 20

4.2.3 重建图像质量对比实验 20

4.3 本章小结 23

第5章 总结与展望 24

5.1 本文总结 24

5.2 未来展望 24

参考文献 26

致 谢 28

第1章 绪论

1.1 研究背景及意义

分辨率作为评估图像质量的重要指标，分辨率更高的图像往往包含了更多的细节信息。随着信息化时代的到来，人们正在接收越来越多的信息，而图像作为信息的重要载体，因为其包含的信息量大，且直观地反映了事物的许多特性，使得人们可以更加便捷、准确地获取到更多的信息，因此图像在信息时代扮演着一个重要的角色。然而，由于图像采集设备在采集过程中的局限性，以及传输过程中网络带宽等因素的影响，人们获取的图像的分辨率不高。因此提高图像分辨率的技术成为了如今学术界和工业界的重点研究方向。

超分辨率重建指的是将低分辨率图像重建为相应的高分辨率图像，重建后的图像被称为超分辨率图像。超分辨率重建技术在一些领域有着重要的应用：在医学成像领域，高清的病理图像有助于医生发现一些肉眼不易看见的细微症状，精确地定位病灶，掌握病人的病情，以便做出更加合理的诊断；在视频监控领域，由于设备本身精度的不足、物体离监视设备太远等因素的影响，大部分拍摄到的图像分辨率都很低，因此无法看到车牌号和人脸等关键信息，这时就需要利用超分辨率重建技术将其重建为对应的高分辨率图像；同时在卫星遥感领域，由于目前所使用的成像技术以及采集设备等因素的限制，卫星所获取的图像通常都无法准确显示地面物体的信息，它对目标的判断和定位有很大的影响，因此需要超分辨率重建技术对遥感图像进行重建，以提高卫星遥感图像的精度。

综上所述，图像超分辨率重建技术在许多方面都扮演着重要角色，该技术也将有越来越广阔的应用前景。

1.2 国内外研究现状

Harris^[1]于1964年首次提出了图像超分辨率重建的概念和方法：通过基于插值的方法来提高单幅图像的分辨率。Goodman^[2]于1968年也独立提出了类似的方法，这个方法现在被称为Harris- Goodman频谱外推法，只是在当时的环境下，他的研究成果并没有在学术界引起关注。直到上个世纪80年代中期，Tsai和Huang^[3]首次提出低分辨率图像序列复原单帧高分辨率图像的方法^[4]，受到了人们广泛的关注。从此超分辨率重建技术成为一个热门的研究方向，越来越多的学者在这方面展开了深入的研究。

关于超分辨率重建的研究主要分为两部分：单帧图像超分辨率重建，多帧图像超分辨率重建。前者从一帧图像重建出对应的超分辨率图像，后者从多帧连续的图像重建出对应的超分辨率图像。本文主要针对单帧图像超分辨率重建展开研究。

近年来，随着信息规模的增大和硬件计算能力的大幅提升，使得计算机能够训练更大更深的神经网络模型，深度学习的研究得到了学术界和工业界越来越多的关注。同时，基于深度学习的超分辨率重建也展现出了巨大的优势。2014年，微软亚洲研究院的董超等人^[5]首次将卷积神经网络(Convolutional Neural Network, CNN)引入超分辨率重建领域，他们提出一种卷积神经网络，可以直接学习从低分辨率图像到高分辨率图像间端到端的映射。这个卷积神经网络结构非常直观，只有三层，作者将三层卷积的结构表示为与传统的超分辨率重建方法相对应的三个步骤：图像块的提取和特征表示，特征非线性映射，图像超分辨率重建。这个方法相较于传统的超分辨率重建算法取得了更好的效果，也让人们看到了深度学习应用于超分辨率重建领域的巨大潜力。在接下来的一段时间里，越来越多的研究者将深度神经网络与超分辨率重建结合。

董超等人^[5]的方法要求输入的图像的大小与输出图像大小一致，也就需要通过插值法将低分辨率图像放大至与高分辨率图像一样的尺寸，才能输入到网络中。这样做使得对输入的图像进行更多的卷积操作，提高了计算的代价。2016年，Shi^[6]等人提出了子像素卷积层(sub-pixel convolutional layer)，并将其用于优化基于卷积神经网络的超分辨率重建方法。由于该方法可以从低分辨率图像的尺寸直接提取特征，从而通过计算得到高分辨率图像，因此具有更高的效率及更优的结果。

2015年，微软亚洲研究院的何恺明等人提出了深度残差网络(Residual Networks, ResNet) ^[7]并参加了当年的ImageNet大规模视觉识别挑战赛，在目标检测、图像分类等任务表现出优异的性能，远远超过其他参赛选手的水平，并最终夺得冠军。他们的深度残差网络的深度十分惊人，达到了152层之多，层数远超之前提出的深度神经网络结构，如此深的深度使得该网络有了更强大的表达能力。2016年，Kim等人^[8]发现低分辨率图像与高分辨率图像携带的低频信息十分相似，而之前的算法在训练时也会提取图像的低频特征，而这些低频特征对图像超分辨率重建的作用并不大，反而会消耗更多的训练时间，因此他们结合残差网络，在训练时只学习高分辨率图像与低分辨率图像间的高频特征的残差。2017年，Lim等人^[9]的方法去掉了传统残差网络中多余的模块，从而可以训练更深的神经网络，获得了更好重建的效果。

2014年，Ian Goodfellow等人^[10]提出了生成对抗网络(Generative Adversarial Network, GAN)。生成对抗网络随即引起了学术界的广泛关注，近几年关于生成对抗网络的研究层出不穷。2017年，Christian等人^[11]首次将生成对抗网络应用于超分辨率重建，解决了以往的方法在图像放大倍数过大时，重建的图像显得过于平滑，缺少了一些真实感的问题。虽然重建的超分辨率图像在客观评判标准上不如之前的基于深度学习方法，但是在视觉效果上却得到了比较明显的提升。

目前，基于深度神经网络的超分辨率重建方法还有许多不足。比如神经网络模型过大，训练时间过长，使得其算法无法在实际环境中得到应用。还有对于不同的低分辨图像，超分辨率重建算法的表现也有差异。因此，如何提升超分辨率重建的训练速度，以及如何使得超分辨率重建适用于更多类型的图像，是未来研究的重点。

1.3 超分辨率重建难点

超分辨重建的难点主要集中在以下方面：

(1)细节恢复。

图像放大倍数越大，细节丢失就越多。目前的超分辨率重建算法，在图像放大倍数较小时，细节恢复效果十分明显，但是图像放大倍数较大时，细节恢复效果就不是很好。

(2)算法的效率问题。

基于深度神经网络的超分辨率重建，在重建图像的质量上取得了突破，但是由于计算量增大，算法的效率低下。

(3)重建图像视觉效果不佳。

由于目前缺少评判重建图像视觉效果的客观标准，超分辨率重建算法难以优化图像的视觉效果，因此目前的超分辨率重建算法重建的图像视觉效果往往不佳。

1.4 本文主要工作

本文针对超分辨率重建中图像重建视觉效果不佳的问题，结合现有的深度学习技术，设计一个基于生成对抗网络超分辨率重建算法。本文工作总结如下：

(1)围绕超分辨率重建技术，对其一般步骤做了总结。并且阐述了两种单帧图像超分辨率重建算法：基于插值的方法、基于学习的方法。

(2)研究峰值信噪比和结构相似性指标的原理，分析它们的优势与不足，并引入更能反映图像视觉效果的平均意见得分指标。

(3)深入研究了生成对抗网络和深度残差网络的原理，设计了基于生成对抗网络的图像超分辨率重建算法，将深度残差网络作为生成对抗网络的生成网络，将MSE损失函数改进为L1损失函数，并去掉了深度残差网络的残差块中多余的批规范化操作。

(4)设计实验，实现算法，进行结果分析。分别进行了残差块改进实验，损失函数改进对比实验和重建图像质量对比实验。

1.5 论文结构安排

本文共分为六个章节，其结构安排如下：

第1章，绪论。首先介绍了超分辨率重建技术的研究背景和研究意义，介绍了该技术的发展与国内外的研究现状。

第2章，图像超分辨率重建。首先介绍超分辨率重建的概念，其次按照技术分类，分别介绍了基于插值的方法、基于学习的方法，最后介绍了三个图像超分辨重建效果评价标准：峰值信噪比、结构相似性、平均意见得分。

第3章，基于生成对抗网络的图像超分辨率重建算法。首先介绍了生成对抗网络和深度残差网络的原理以及它们在超分辨重建上的优势，然后结合它们的原理进行了图像超分辨率重建算法设计，分别进行了损失函数的设计，生成网络结构的设计和判别网络结构的设计。

第4章，实验及结果分析。进行了损失函数改进实验、残差块改进实验和重建图像质量对比实验的设计及结果分析。

第5章，总结和展望。首先对本文所做的工作进行了总结，对本文提出的基于生成对抗网络的超分辨率重建算法的优点和不足进行了思考，并提出了改进的方向，最后对超分辨率重建研究的发展和应用做了展望。

第2章 图像超分辨率重建

本章围绕图像超分辨率重建技术，首先介绍了图像超分辨率重建的基本概念，然后研究了两种超分辨率重建方法：基于插值的方法，基于学习的方法，最后分别阐述了超分辨率图像质量评估的三种指标：峰值信噪比、结构相似性、平均意见得分。

2.1 图像超分辨率重建基本概念

超分辨率重建指的是将低分辨率(Low Resolution, LR)图像重建为与其对应的高分辨率(High Resolution, HR)图像，重建后的图像被称为超分辨率(Super Resolution, SR)图像。

高分辨率图像通过几何变换、采样、模糊等过程得到低分辨率的图像的过程被称为降质过程。通过公式描述降质过程，如式(2.1)。

(2.1)

其中是低分辨率图像，是高分辨率图像，t代表几何变换、采样、模糊等操作，z代表噪声。

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：