摘 要

在光照条件较差的环境下，拍摄出的图像内容往往会亮度偏低并且存在一定噪声，从而导致人们难以辨别图像和获取信息。为了解决低照度图像存在的一系列问题，本文在研究传统基于去雾技术的低照度图像增强、去噪算法和基于卷积神经网络RetinexNet的低照度图像增强、去噪算法的基础之上，提出了一种基于U-net 的低照度图像增强与去噪算法。

本文的低照度增强、去噪算法基于See-in-the-Dark Dataset数据集，是一种通过数据驱动的端到端的神经网络方法。本文首先将SID数据集中图像进行裁剪、旋转、翻转等操作进行数据增强，然后在网络设计中引用U-net ，将长连接和短连接巧妙结合并引入深度监督，用于抓取并整合不同层次的特征，在保证图像质量的同时对模型进行了剪枝操作，使得模型参数较少的情况下仍然保证了低照度图像增强、去噪的效果与质量。

关键字：低照度；U-net 网络；剪枝

Abstract

In an environment with poor lighting conditions, the captured image content tends to be low in brightness and has some noise, which makes it difficult to distinguish images and obtain information. In order to solve a series of problems in low illumination images, this paper studies the low illumination image enhancement, denoising algorithm based on defogging technology and low illumination image enhancement and denoising algorithm based on convolution neural network RetinexNet. A low illumination image enhancement and denoising algorithm based on U-net .

The low illumination enhancement and denoising algorithm based on the See-in-the-Dark Dataset dataset is a data-driven end-to-end neural network method. In this paper, the SID data set image is first cropped, rotated, flipped, etc. to enhance the data, then U-net is referenced in the network design, and the long and short connections are combined and introduced into the depth supervision, which is used to capture and integrate different levels. The feature of the model is pruned while ensuring image quality, so that the effect and quality of low illumination image enhancement and denoising are still ensured when the model parameters are small.

Key Words：low light; U-net network; pruning

目 录

第1章 绪论 1

1.1课题研究的背景、目的和意义 1

1.2国内外研究现状分析 1

1.3课题研究内容 2

第2章 低照度图像增强、去噪算法研究 3

2.1基于去雾技术的低照度图像增强、去噪算法 3

2.1.1低照度彩色图像与雾天图像的联系 3

2.1.2基于暗通道先验的去雾算法 3

2.1.3基于去雾方法的低照度图像增强 4

2.1.3低照度去雾后图像的去噪 5

2.1.4基于去雾技术的低照度图像增强、去噪算法结果 6

2.1.5基于去雾技术的低照度图像增强、去噪算法方案总结 6

2.2基于卷积神经网络RetinexNet的低照度图像增强、去噪 6

2.2.1Retinex理论 7

2.2.2Retinex-Net介绍 7

2.2.3基于卷积神经网络RetinexNet的低照度图像增强、去噪结果 9

2.2.4基于卷积神经网络RetinexNet的低照度图像增强、去噪方案总结 10

第3章 基于U-net 的低照度图像增强与去噪 11

3.1U-net网络结构 11

3.1.1下采样和上采样 11

3.1.2 skip-connection 14

3.2 U-net 网络结构 15

3.2.1短连接 16

3.2.2深度监督 17

3.2.3U-net 网络剪枝 17

3.3SID数据集 18

3.4基于U-net 的低照度图像增强与去噪算法实现细节 19

3.4.1数据预处理 19

3.4.2损失函数 20

3.4.3优化器 21

3.5评价指标 21

3.6实验结果 22

第4章 结论 28

参考文献 29

致谢 31

第1章 绪论

1.1课题研究的背景、目的和意义

在生活中，图像的拍摄经常会遇到光照不足的情况，导致拍摄物体表面的反射光线较弱，进入拍摄设备的光线不足，从而导致拍摄出来的图像质量不高并且存在大量噪声。低照度图像指的是在光照条件较差情况下得到的图像, 这类图像普遍存在低灰度、高噪声和细节不全等特点^[1]，而这些特点将会造成图像中的细节难以辨别，提升图像后续处理的难度。

低光照的条件还往往会滋生犯罪行为，因此一些照明条件不好的地方通常需要进行全天候的监控，此时就需要监控的设备准确快速识别低照度条件下的图像内容。此外，在夜间行驶时，有时会遇到一些光照条件较差的路段，此时低照度图像增强、去噪的算法使得驾驶员可以明确知道前方的道路细节情况，使得如果遇到一些突发事件可以及时作出应对。在计算机视觉技术高速发展的今天，图像的拍摄与处理存在于我们生活的方方面面，图像的低质量和大量噪声会对图像的处理造成不可估量的影响。在一些照明条件较差或者不适合外加光源的地方，因为低照度的光照会造成获取图像的质量下降，从而导致拍摄的照片模糊不清，那么此时一旦出现意外情况，将会产生意想不到的后果。尤其是在智能交通和监控系统迅速发展的今天，如果不能保证在低照度的条件下获取的图像仍然是优质的监控图像，将会对图像的后续处理造成严重干扰，往往也会造成不可估量的后果。

低照度图像的增强与去噪工作能够保证在即使光照不充分的条件下仍然获得高质量的图像，从而保证各种需要获取图像的设备24小时运行，提升了系统的稳定性与可靠性，因此，针对低照度图像的增强、去噪研究具有重要意义。

1.2国内外研究现状分析

低照度图像普遍存在低灰度、高噪声和细节不全等特点。针对低照度图像的这些特点，有一系列的工作被提出，其中包含了传统的图像增强、去噪算法、基于去雾技术以及基于卷积神经网络的低照度图像增强、去噪工作。

传统的图像增强算法包含了直方图均衡化方法和灰度变换法，其中直方图均衡化主要是先求得原图像的直方图，然后将原直方图通过变换使其变得均匀分布，从而完成图像增强的作用；灰度变换法是首先建立一个线性函数，图像的灰度值通过该线性函数完成映射，从而达到图像增强的效果。

基于去雾技术的低照度图像增强算法首先通过大量图像的统计实验上发现有雾图像与低照度图像存在一定程度上的相似，进而通过将反转低照度图像进行去雾来完成图像的增强工作。但是该方法会给图像引入噪声，因此往往会再通过双边滤波器等滤波算法完成图像的去噪工作。

基于卷积神经网络的低照度图像算法主要基于卷积神经网络，通过数据驱动的方法，完成端到端的图像增强和去噪操作。其中RetinexNet网络通过分解网络Decom-Net将图像分解为反射和光照两部分图像，其中反射图像反映的是物体的本身性质，光照图像则受外界影响较大，因此可以通过去除光照影响或者对光照图像进行校正完成低照度图像的增强工作。此外，还有基于U-net网络的端到端低照度图像增强、去噪工作，该方法在低照度图像增强与去噪工作上取得了较好的效果。

1.3课题研究内容

本次毕业设计的基本内容与目标主要是针对低照度图像低灰度、高噪声和细节不全等特点完成增强和去噪的工作。

在本次的设计中，包括以下内容：

介绍常用的低照度增强、去噪算法，包含基于去雾技术的低照度图像增强、去噪算法^[2]、基于RetinexNet的低照度图像增强、去噪算法^[3]。

本次设计通过分析SID数据集中的低照度图像，在卷积神经网络的基础上，提出一种基于U-net 网络结构的低照度图像增强、去噪算法。在整合不同层次的特征完成图像指标提升的同时配合上深度监督，使得在一定的精度范围内，完成网络模型参数的大幅缩减。

最后给出实验结果，包含所介绍的两种算法、Learning to See in the Dark中算法以及本文提出的基于U-net 网络结构的低照度图像增强、去噪算法对SID数据集数据进行增强和去噪之后的结果对照，并给出相应指标结果。此外，本次设计还对基于U-net 网络结构的低照度图像增强、去噪算法进行剪枝操作，给出在大幅度缩减参数量的同时保证输出图像质量在接受范围内的结果。

第2章 低照度图像增强、去噪算法研究

2.1基于去雾技术的低照度图像增强、去噪算法

在2011年，Dong Xuan等人在Fast Efficient Algorithm for Enhancement of Low Lighting Video^[4]中通过实验证明了低照度图像翻转后和有雾图像在视觉上具有相当的相似性，并在此基础上实现了对低照度图像的增强工作。受Dong Xuan等人工作启发， Zhang Xiangdong等人在2012年在Enhancement and Noise Reduction of Very Low Light Level Images^[2]中提出了基于去雾技术的低照度彩色图像增强方法，该方法在基于暗原色去雾的先验条件下，将低照度图像进行翻转从而得到类似于有雾条件下的图像，并基于低照度图像的特点，提出了新的透射率计算方法，并取得了良好的效果。

2.1.1低照度彩色图像与雾天图像的联系

在Fast Efficient Algorithm for Enhancement of Low Lighting Video^[4]中Dong等人指出在有雾条件下，背景像素的强度在所有颜色通道中总是最高的。但是由于阴影、颜色等原因，房屋、车辆和人等物体的强度通常在至少一个颜色通道中是最低的。Dong等人通过计算反转图像和有雾图像的像素在RGB三通道的最小强度并绘制成直方图，发现两者具有极大的相似性，并且在反转图像和有雾图像中均有超过80%的像素在所有颜色通道中具有高强度。由此证明了反转的低照度图像和有雾图像的相似性。

2.1.2基于暗通道先验的去雾算法

He Kaiming等人在Single Image Haze Removal Using Dark Channel Prior^[5]中提出了基于暗通道先验的去雾模型，在该论文中提到暗通道先验指的是在绝大多数非天空区域中，某一些像素在RGB三通道中至少有一个通道的值很低。其中造成暗通道存在低像素的原因主要是由于以下三种：a)黑色的物体或表面。例如，黑暗的灯柱、石头和树干；b)多彩的物体或表面。任意缺少其他颜色的物体会导致暗原色灰度值较低，例如，绿色的草和蓝色的水面；c)阴影。如城市景观图像建筑物和窗户内部阴影，以及风景图像中树叶、花朵和岩石在太阳光下的阴影^[6]。

基于暗通道先验，He等人在Single Image Haze Removal Using Dark Channel Prior^[5]中提出了如式2.1的去雾模型：

其中为待去雾的图像，A为全局大气光，为去雾后得到的图像，为透射率。

2.1.3基于去雾方法的低照度图像增强

在He等人工作的基础上，Zhang等人在Enhancement and Noise Reduction of Very Low Light Level Images^[2]中提出了一种基于去雾技术的低照度图像增强算法，以下为Zhang方法的介绍：

首先，通过式2.2完成低照度图像的反转工作：

其中c指的是RGB三通道中的任意一通道，为反转后的低照度图像，为输入的低照度图像。

由于低照度图像的翻转图与有雾图像的相似性，因此将反转后的图像代入去雾模型式2.3可得：

由去雾模型式子2.3可知，要想从低照度图像中恢复，需要先求得全局大气光成分A和透射率t(x)。

2.1.3.1全局大气光

在Zhang等人的工作中，全局大气光的计算采用的是Single Image Haze Removal Using Dark Channel Prior^[5]中的借助暗通道图方法，其步骤如下：a)我们首先在暗通道中以亮度大小为顺序将像素值排序，然后再选取前0.1%的像素记录位置；b)在这些已记录的像素中，寻找像素亮度的最大值，即可作为全局大气A。

2.1.3.2透射率

在真实的有雾图像中，场景越远,透射幅度越小,并且两者呈指数关系，因此透射率公式如式2.4所示:

但是Zhang等人在其论文^[2]中考虑到所需要处理的并非真正的雾天图像，而是低照度图像，即使两者存在相似性，但是低照度图像透射率主要是与图像亮度有关，而非场景深度。因此Zhang等人采用了图像亮度来估计图像的透射率，并提出图像亮度如式2.5所式：

代表红色通道的值，代表绿色通道的值，为蓝色通道的值，Y代表从图像中提取的亮度值。考虑到暗通道获得的亮度图像和透射图之间的差异，Zhang等人使用参数C减去亮度图来使两者图像相似，其表达式如2.6所示：

其中C为常数，取值为1.06到1.08之间，为估算出来的透射率。

为了避免出现为0的情况，Zhang等人设定了一个透射率的下限为，由此得到低照度图像增强公式2.7：

通过将图像代入上式这一步便已经完成反转的低照度图像的去雾操作。但是此时得到的是反转图像下的去雾结果，因此接下来需要做的就是将图像再次反转得到低照度图像的增强图像，其表达式如式2.8所示：

2.1.3低照度去雾后图像的去噪

在经过基于去雾技术的低照度图像增强后，图像的亮度得到增加并且低光中的信息得以显现，但是随之而来的是给图像引入了噪声。所以在低照度图像增强后往往需要进行图像的去噪工作，用来抑制噪声并保留图像的边缘和细节。因此，Zhang等人提出了一种改进的基于联合双边滤波器的图像降噪方法。

双边滤波器如式2.9所示 ：

其中为归一化项，是以像素x为中心的局部总和权重，如式2.10所示：

其中和是分别为基于像素之间的距离和基于强度差异的权重，统称为边缘停止函数。

通常的情况下，和都是高斯函数。但是经过增强的图像E存在噪声，因此当用双边滤波器对中心像素进行平滑时会受到噪声干扰。因此Zhang等人引入了联合双边滤波器并利用受噪声干扰更少的G颜色通道图像进行去噪，其最终表达式如2.11所示：

2.1.4基于去雾技术的低照度图像增强、去噪算法结果

图2.1 基于去雾技术的低照度图像增强、去噪结果

2.1.5基于去雾技术的低照度图像增强、去噪算法方案总结

本部分介绍的是基于去雾技术的低照度图像增强、去噪方法，该方法发现了低照度翻转图和有雾图像的紧密联系，在大气散射模型的前提下，基于暗原色去雾的先验知识之上巧妙的更换了大气光透射率的计算方法，在低照度图像增强上取得了良好的效果。然而，该方法所得到的结果图像存在噪声比较严重、亮度不足、颜色失真的情况。

2.2基于卷积神经网络RetinexNet的低照度图像增强、去噪

由于基于去雾技术的低照度图像增强、去噪得到的图像结果存在噪声比较严重、亮度不足、颜色失真的情况，导致结果并不尽如人意。因此本文继续探究了基于卷积神经网络RetinexNet的低照度图像增强、去噪，该方法在Retinex理论的基础之上提出了分解网络和增强网络，使用分解网络通过将低照度图像分解为光照和反射两部分图像的方式来完成低照度图像的增强。

2.2.1Retinex理论

Retinex理论是由Edwin.H.Land于1977 年在The retinex theory of color vision^[7]中提出的一种图像增强方法。该模型的建立主要基于以下这些假设：

1.给定波长的红色、绿色和蓝色这三种颜色决定各个区域的颜色。

2.现实世界中是不存在颜色的，我们看到的颜色是在光与物质共同作用的结果。

在Retinex理论中指出是物体的颜色具有相当的一致性，不会因为光照的不均匀而受到影响。此外，物体颜色是物体反射长波、中波、短波光线的结果。Retinex可以在动态范围压缩、图像的边缘增强和色彩恒定三个方面做到平衡，因此该方法可以对不同类型的图片进行自适应的增强。

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：