基于深度学习的照片智能筛选系统的设计文献综述
2020-05-04 21:17:36
随着新时代的到来,互联网、计算机和通信技术的不断发展,人类社会己经全面进入信息时代,其中,“图像”作为视觉信息的载体,是人类社会活动中最普遍的信息传播方式。图像质量代表了图像的核心价值,图像质量的高低决定着图像衍生应用的适用范围以及完成质量。然而,由于受到设备本身及外界环境因素的影响,图像在获取、储存、压缩、传输、显示等各个环节中,都会无法避免地出现失真现象,最终影响用户的服务体验。例如:在拍照过程中,设备抖动、聚焦不准及热噪声等可能造成生成图像不清晰的现象,因此同一场景会拍摄多张类似照片,存在大量的照片冗余。另外在图像存储、传输过程中,为提高效率而进行的有损压缩编码,会导致块效应、振铃效应、模糊等图像退化现象,需要进行适当的质量筛选。因此本课题为了解决此现象所产生的问题,设计选择最优质量的照片筛选系统,帮助人们清理空间,提出基于深度学习的图像质量筛选系统。
目前国内外针对图像评价的研究主要有两大方面。一是主观评价,分为绝对评价和相对评价。绝对评价是指评分者根据对单一图像的直观感觉给出分数,采用“全优度尺度”,而相对评价是指评分者先观察一批图像之后,根据图像之间的对比给出相应的评分,采用“群优度尺度”。主观评价虽然充分考虑了充分考虑了对图像感知充分考虑了对图像感知和理解,但耗时、费力、成本高,易受主观因素影响。
与主观评价相对应的是客观评价,具有费用低、速度快、实用性强等优点。其包括全参考评价、半参考评价和无参考评价三种类型。 全参考评价分为四类,一是通过峰值信噪比(PSNR)和均方误差(MSE)判断图像质量,但这样忽略了图像本身的结构特点和图形意义;二是基于可察觉误差(JND)模型的图像评价机制,通过测量失真图像之间的可感知差异来判定图像质量,是目前被公认为比较成功的图像质量评价模型;三是利用结构相似度算法(SSIM)来判断图像质量,革命性的将结构度量纳入图像评价的范畴,再此基础上延伸出MSSIM、FSIM、IW-SSIM等改进算法;最后一种是通过视觉保真度算法(NSS)将信息论引入图像质量评价领域,建立视觉质量和图像信息之间的联系,具有非常重要的意义。全参考质量评价方法可获得更准确可靠的评价结果,但是必须应用于可获取原图像的基础上,应用范围较小。
相反,无参考评价由于无需对原图像的依赖,可嵌入到图像系统的任何环节中,所以应用范围最广、使用价值最高。但是由于人眼感知难以模型化表示,并且与深度学习的结合还未达到应用标准,所以质量评价精度与全参考评价的水平有较大差距,这也是本设计所想要突破的重点与难点。
结合了全参考与无参考的优缺点后,半参考图像质量评价是现行比较流行的评价方法,此方法仅利用原图像部分信息来估计失真图像质量,降低了数据量和计算复杂度,也提高了效率,比无参考评价更易于实现。但是如何选取有效的图像特征并模拟人眼感知模型是本方法的难点所在。
2. 研究的基本内容与方案
{title}本设计是为了实现在完全不借助其他信息的基础上,对照片实现质量评价筛选的功能。需要结合主观评价标准、数字图像处理、机器学习等各方面知识、技术的融合,由此我提出如下技术方案:
首先,对失真图像进行主观评价,利用双刺激损伤评估法、单刺激连续质量评估法、双刺激连续质量评估法等方法进行等级评价,用于为客观评价做评价标准。
第二,学习研究全参考图像质量评价的4种常规方案(PSNR、SSIM、JND、VIF),分别利用四种方案对图像进行质量评价,结合主观评价数据,进行横向比较,并获得图像质量评价中可提取的重要参数。
第三,通过K最近邻算法与DCT特征提取完成图像失真分类,并制作图像失真分类器。
第四,通过全参考图像质量评价得到参数,再结合机器学习来进行半参考图像质量评价,并与主观评价值进行对比,同时优化失真分类器。