基于手机平台的图像超分辨深度学习算法设计与实现文献综述
2020-04-14 22:13:16
随着手机的普及和应用,人们对高质量视频和图像的期待日益增加,例如:在刑事案件中从监控视频中提取犯罪嫌疑人的重要信息;恢复具有低分辨率摄像头的移动设备所拍的珍贵照片等等。然而,由于网络传输的影响,从网络下载的或经过app网络如微信等传输后的图片或视频,其分辨率较低,影响用户使用。
超分辨率技术对重建高分辨率图像具有重要意义。超分辨技术是指从观测到的低分辨率图像重建出相应的高分辨率图像,在监控设备、卫星图像和医学影像等领域都有重要的应用价值。
近年来国内外提出了很多基于深度学习的超分辨算法。例如:
SRCNN,首先使用双三次(bicubic)插值将低分辨率图像放大成目标尺寸,接着通过三层卷积网络拟合非线性映射,最后输出高分辨率图像结果。三个卷积层进行图像块的提取和特征表示,特征非线性映射和最终的重建[6]。
VDSR,输入的低分辨率图像和输出的高分辨率图像在很大程度上是相似的,也就是指低分辨率图像携带的低频信息与高分辨率图像的低频信息相近,训练时带上这部分会多花费大量的时间,实际上我们只需要学习高分辨率图像和低分辨率图像之间的高频部分残差即可,因此,VDSR将插值后得到的变成目标尺寸的低分辨率图像作为网络的输入,再将这个图像与网络学到的残差相加得到最终的网络的输出。
VDSR主要有4点贡献:1.加深了网络结构(20层),使得越深的网络层拥有更大的感受野。文章选取3×3的卷积核,深度为D的网络拥有(2D 1)×(2D 1)的感受野。2.采用残差学习,残差图像比较稀疏,大部分值都为0或者比较小,因此收敛速度快。VDSR还应用了自适应梯度裁剪(Adjustable Gradient Clipping),将梯度限制在某一范围,也能够加快收敛过程。3.VDSR在每次卷积前都对图像进行补0操作,这样保证了所有的特征图和最终的输出图像在尺寸上都保持一致,解决了图像通过逐步卷积会越来越小的问题。文中说实验证明补0操作对边界像素的预测结果也能够得到提升。4.VDSR将不同倍数的图像混合在一起训练,这样训练出来的一个模型就可以解决不同倍数的超分辨率问题[7]。
DRCN,第一次将之前已有的递归神经网络结构应用在超分辨率处理中,同时,利用残差学习的思想,加深了网络结构,增加了网络感受域,提升了性能[3]。
RDN,提出RDB并作为RDN的主要模块,通过CM,LFF,全局特征融合等,充分利用好层级结构的一个残差密集连接网络[4]。
由于手机已成为人们必备的工具之一,本课题考虑将图像超分辨算法应用于手机上,旨在从低分辨率图像中快速获取高分辨图像。考虑到移动设备资源有限,对算法有较高要求,需要实现快速且低功耗的算法,现有的图像超分辨算法又通常涉及大量模型训练,因此需要研究模型使用的便捷性和高效性。
{title}2. 研究的基本内容与方案
{title}1)基本内容及目标