摘 要

立体图像更因为能为观看者带来逼近现实情况的立体感也逐渐被研究者重视，而拍摄、存储、传输图像的过程都会对立体图像的质量有不同程度的影响，因此有必要提出一种立体图像质量评价算法，为判断图像是否可用提供依据。

本文提出了一种基于视觉显著性衡量立体图像质量的方法来对这些失真后的图像进行质量评估。本文根据视觉显著性并结合立体图像的深度特征，提出了评价立体图像质量的客观算法。首先在平面图像显著性的研究基础上提取出图像的视觉显著信息；因为立体图像对特有的立体感，提取出能反映立体感的深度图，将视觉显著图和立体深度图融合构成立体显著图。利用SSIM算法，结合失真图和参考图到左视图和右视图的质量图，将两者平均得到左右视图的平均质量图。最后利用显著图对得到的质量图赋予不同的权值，得到最终的客观评价值。最后将客观评价值和主观评价值对比，两者具有很好的一致性。

关键词：视觉显著性；立体图像；结构相似度；深度图；

Abstract

Image is the main source of getting information in the information era, and stereoscopic image is gradually being taken seriously by researcher because it can bring a sense of three-dimensional approximation of the realities. The image shooting, storage, transmission process will all have different degrees of impact on the quality of stereoscopic images, therefore, this paper proposes a approach of stereoscopic image quality assessment based on stereoscopic visual saliency to evaluate these distorted images. This paper proposes an objective method combined visual saliency feature and depth feature to evaluate stereoscopic image quality. First, extracting visual saliency information from images at the base of the researches of 2D image saliency; As stereoscopic images give people stereoscopic perception, picking up death map which can reflect the sense of stereoscopic, then using SSIM to get SSIM map of absolute difference maps of distorted image pair and reference image pair,which is the quality map of difference maps;Also using SSIM to get quality maps of left image and right image, then getting mean quality map from the two maps. Finally comparing the standard assessmens with the objective assessments.

Key Words：visual saliency; stereoscopic image; SSIM; depth map

目录

第1章 绪论 1

1.1 研究背景及意义 1

1.2 国内外研究现状 2

1.3 本文研究内容及安排 2

第2章 立体图像质量评价基础 4

2.1 立体视觉产生机制 4

2.1.1 生理立体视觉 4

2.1.2 心理立体视觉 6

2.2 立体图像质量评价方法 7

2.2.1 主观评价方法研究 7

2.2.2 客观评价方法分类 7

2.3 本章小结 9

第3章 视觉显著性模型研究 10

3.1 平面视觉显著模型 10

3.2 立体视觉显著模型 13

3.3 本章小结 15

第4章 SSIM模型和立体图像库 16

4.1 SSIM模型概述 16

4.2 立体图像库 18

4.3 本章小结 22

第5章 基于显著性的立体图像评价模型 23

5.1 立体图像评价模型 23

5.2 实验结果及分析 23

5.3 本章小结 26

第6章 总结及展望 28

参考文献 29

致谢 31

第1章 绪论

1.1 研究背景及意义

21世纪是一个充满信息的时代，随着包括声音、图像在内的多媒体通信技术的快速发展，对声音、图像的研究也越发深入了。图像作为人类感知世界的视觉基础，是人类获取信息、表达信息和传递信息的重要手段。由于人的视觉系统可以帮助人类从外界获取3/4以上的信息，而图像、图形又是所有视觉信息的载体，因此对图像的研究成为了信息化时代一个重要的研究方向。

在数字图像处理的研究范围内，针对平面数字图像和立体数字图像的研究都取得了巨大进展。立体图像与平面数字图像相比，平面图像虽然展示了大部分视觉信息，但是它的缺点在于无论从什么角度观察图像，人们都不能像现实生活中那样“横看成岭侧成峰，远近高低各不同”，因为现实世界的物体是三维立体的，除了长和宽，还具有深度信息。为了解决这个问题，在视觉上逼近现实的立体感受，研究者们在二维平面图像的基础上引入了三维立体图像，其中3D电影就是立体图像和立体视频的一个应用。简单说来就是利用特殊的成像工具和观影设备，让一对具有标准视差的图像进入人的左眼和右眼，经过大脑视觉神经的处理和融合，让人们可以感知到立体感的存在。

因此，计算机处理技术和多媒体技术得到了快速发展，图像和视频技术也朝着立体化、数字化、网络化和高清晰度的方向发展。立体图像和视频技术是利用人眼的视觉原理，给观众创造出和现实生活一样的真实感和临场感。当前，立体图像和视频技术的应用也越来越广泛，如三维视频会议系统和远程教育等。

立体图像在采用、预处理、压缩、传输、绘制及显示等环节容易受到各种攻击，都会产生相应的失真，如何准确衡量这些失真程度可以促进整个立体图像系统以及涉及的各个模块的快速发展，为提高立体图像的质量提供努力的方向。设计符合视觉感知的立体客观评价模型可以直接促进编码及绘制等技术的快速发展。立体图像质量评价是与立体视频系统相关的所有技术的基础，吸引了众多国内外相关领域的国内外研究学者研究专家的关注。

随着人们对立体图像研究的重视，相关科研人员对立体图像技术也取得了很多成果，例如立体视频压缩技术，但是作为各种立体图像技术基础的立体图像质量评价有关的研究却泛善可陈，其主要原因还是因为没有新的人类视觉感知模型被提出来。近些年的研究主要集中在根据人类的视觉感知系统（HVS）感知图像时的特点来研究图像质量评价模型。人类在观察一幅图像或者某个场景的时候，并不是对图像或场景中的每一部分都有同等的关注度的，我们会侧重于关注一些重要的、吸引人的、显著的部分，这样的区域在图像处理中也称为感兴趣区域（Region Of Interest, ROI）。相较于视觉上的非显著区域，显而易见发生在显著区域的失真会在主观上更加引起人们的不适，极大地影响人们对图像质量作出评价，因此有必要提出一个基于视觉显著性的立体图像质量评价模型。

1.2 国内外研究现状

目前诸如《疯狂动物城》等大热的3D视频技术的核心就是立体图像技术，平面图像也逐渐向着立体图像技术的方向发展，越来越多的国内外科学家和学者也因此投入了立体图像的质量评价的研究当中。在国外，1997年开始就有视频质量专家组（VQEG）对视频质量进行评估，立体视频的评估也包含在内，而美国微软的LIVE 实验室也在进行和立体图像相关的研究。与此同时，国内也有许多高校在研究立体图像技术，包括清华大学和天津大学等在内的高校在立体图像领域也取得了一定的成绩。