摘 要

与生俱来的立体视觉机制让人类对视觉体验不断提出新的需求，以期达到“还原真实世界”的目的。日趋成熟的二维显示技术虽能在一定程度上满足了人眼对色彩、分辨率和亮度等图像特性的视觉需求，但是深度信息的缺乏限制了该技术的进一步发展。早在一百多年前，立体显示技术便已问世，随着相关技术的不断发展，集成成像技术脱颖而出，该技术能够在不需要辅视设备及相干光源的情况下，实时地为观看者提供具有全彩色、连续视差及连续视角的真三维立体影像，且不会产生视觉疲劳，发展前景十分广阔。近年来，与集成成像系统相关的理论研究和实用化进程均得到了一定的发展，但是，集成成像技术在图像采集、大屏幕立体显示、观看特性参数（分辨率、视角、深度）等方面仍面临着诸多亟需解决的问题。在深入分析相关理论的基础上，本论文针对大屏幕立体显示技术、像采集技术、三维场景重构技术及其应用等关键问题进行了深入研究，提出了相应的解决方案，给出了足以证明方案可行性的实验数据和相关分析讨论。本论文的主要研究内容和创新性工作如下：

1、基于胶合透镜阵列的集成成像显示方法。

2、离散采集结合自适应窗截取的立体元图像生成方法和基于汇聚相机阵列拍摄的立体元图像阵列生成方法进行实景采集。

3、彩色三维场景的计算机虚拟重构及其内容感知。

关键词：集成成像技术，立体元图像阵列，胶合透镜阵列，窗截取，实景采集，三维场景重构

Abstract

It is the innate human visual specialties that make people put forward new requirements for visual experience constantly to achieve the goal of‘restoring the real world’. The increasingly mature two-dimensional display technology can satisfy the human visual demand to the image features such as the color, the resolution and the brightness to a certain extent, but the lack of depth information limits the further development of the technology. As early as one hundred years ago, stereo display technology first came out. Integral imaging, which can provide true three-dimensional (3D) stereo images with full color, continuous parallax and continuous perspective for the viewer without visual fatigue in the absence of the auxiliary and the coherent light source, stands out with the continuous development of the related technologies, and there are promising prospects for development. Great improvements have been acquired in the related theory research and practical application process of integral imaging recently, but there are still many challenges, such as image capture, large screen stereo display, watching characteristic parameters (resolution, angle and depth) and so on. This thesis focuses on the key issues of large-screen 3D display technique, image capture technique, reconstruction technique and the related applications, puts forward the corresponding solutions based on in-depth analysis of relevant theories, and the experimental data and related analysis are given to prove the feasibility of the scheme. The main research content and innovative work are as follows:

1. Display method based on the glued lens array in integral imaging.
2. Two methods of generating elemental image array using discrete capture combined with discrete capture and convergent camera array for real scene capture.
3. Method of the colored 3D scene computer virtual reconstruction and the content perception.

Keywords: Integral imaging, elemental image array, glued lens array, window Interception, real scene capture, 3D scene reconstruction

目录

第1章 绪论 6

1.1 研究背景与意义 6

1.2国内外研究现状 7

第2章 集成成像系统中的关键技术 9

2.1 理想的集成成像系统 9

2.2 立体元图像阵列的计算机虚拟采集法 11

2.3 立体显示模式 13

2.4 立体相机标定技术 19

第3章 基于胶合透镜阵列的集成成像显示系统 20

第4章 离散采集结合自适应窗截取的立体元图像生成方法 23

第5章 基于汇聚相机阵列的立体元图像实景采集方法 25

5.1 汇聚相机阵列采集法与计算机虚拟采集法的光学映射模型 25

5.2 基于汇聚视点图像阵列的立体元图像阵列生成方法 26

第6章 基于集成成像技术的三维场景重构方法 28

第7章 总结 29

参考文献 30

致谢 31

第1章 绪论

1.1 研究背景与意义

人类对美好视觉体验的追求推动了绘画、摄影和电影等相关技术的不断发展，并催生了能够显示高质量二维（Two-dimensional，2D）图像的电子显示系统，其在色彩、分辨率和细节信息等方面为观看者提供的视觉感受与用人眼直接观看实际物体所获得的视觉体验近似，但是其对于图像深度信息的渲染效果尚未满足人们的实际需求。为了给观看者提供更逼真的视觉效果，人们的关注焦点逐渐转移到“完全再现真实自然空间”这一目标上。早在1833年，英国科学家 Wheatstone 便绘制出了世界范围内第一组基于双目视差原理的视差图像，这标志着平面显示开始向立体显示过渡，随后他又在向英国皇家科学院提交的一篇论文中首次正式提出了三维（Three-dimensional，3D）显示这一概念。

立体视觉的形成是一个由人眼和大脑共同参与的、复杂度高、综合性强又很高效的过程，需要感知并分辨的信息线索主要包括两种：以对焦调节、运动视差和心理深度暗示为代表的单目线索，以及以同时视觉、双目视差和辐辏为代表的双目线索。人眼的立体视觉机制使观看者感知到目标物体的凹凸、大小或远近，从而产生立体感和距离感，而三维显示的最终目标是重现目标空间场景，并利用人眼的立体视觉特性为观看者带来自然舒适的沉浸感和临场感。基于双目视差原理的三维显示技术包括助视三维显示技术和自由立体三维显示技术，它们分别通过在人眼附近和图像显示面附近设置光学分光元件的方式，使得左（右）眼仅看到左（右）视差图像，再经过视皮层的视觉融合处理后即可感知到无重像的目标场景，具体的实现方案分别以眼镜式三维显示和光栅式三维显示为代表。在基于双目视差的三维显示系统中，图像中呈现出的视角变化是基于摄像机位移动的，不属于运动视差，因此，这种三维显示图像的立体效果不够自然；此外，在这类显示模式下，辐辏与对焦调节机制的联动性会导致调节-辐辏冲突，这是引起视觉疲劳的最关键因素。为了兼顾立体视觉效果和视觉舒适度，人们提出了一种全新的、更契合人眼视觉特性的三维显示技术—真三维显示技术，该技术通过相关光学技术使光线在真实空间中汇聚出目标三维场景，能够更全面、更安全的激发人眼视觉特性，为多个观看者提供长时间的、高舒适度的立体视觉体验，现有的可行技术主要包括以下三种：全息立体显示技术、集成成像显示技术及体显示技术。

集成成像技术（Integral Imaging）早在 1908 年便被 Lippmann 提出[6]，其所呈现的三维图像兼具水平视差、垂直视差和运动视差，立体感突出，透视关系明确，能够为观看者提供自然、逼真、舒适的深度感知体验。与全息立体显示技术及体显示技术相比，集成成像技术具有结构简单、不受外界光照干扰、稳定性高、实现成本较低、便于研发和实际应用等优点。尽管如此，在理论研究和实用化进程中，集成成像技术仍面临多个亟需解决的问题：立体元图像阵列的快速实景采集、立体元图像阵列的压缩编码、视频序列的生成效率、大尺寸显示屏幕的研制、立体显示观看参数有待提高以及三维场景的高精度重构等。集成成像技术面临的上述问题及其在医疗设备、影视娱乐等诸多领域的深入推广应用，都是促进该项技术被更多科研人员所重视并进一步完善发展的重要途径。集成成像技术是目前最有可能走出实验室并走入现实应用的真三维显示技术，围绕集成成像技术开展的一系列学术研究对于真三维立体显示技术的发展具有重要意义。

1.2国内外研究现状

随着人们对于视听享受的不断渴求以及相关技术的不断发展，集成成像技术已逐步进入到社会的各个领域：以三维动画产业为代表的影视娱乐领域，以三维物体的分离、识别、测量、追踪等高级分析为代表的工业生产领域，以人体手势识别、交通信息建立为代表的安防监管系统，以及以增强现实、手术导航为代表的医药卫生行业等。目前，透镜阵列制作工艺的不断改进、高分辨率相机和显示设备的广泛应用、光电实时对接器件的引入以及数字图像处理技术的快速发展等均为集成成像技术的基础研究和实用化进程提供了有力的硬件和技术支撑。集成成像技术已在国际范围内引起了诸多知名高校、科研机构和大公司的关注，成为裸眼三维立体显示领域的研究热点。

在国际范围内，从事集成成像技术研究的科研组织主要分布在美国、韩国、日本、西班牙和中国。美国康涅狄格州立大学 Javidi 教授领导的科研组研究范围最广，涉及普通环境和特殊环境下的图像采集、三维场景的重构及多项实际应用，在高性能显示器的研制等方面也取得了一定的进展[7][8]，此外Javidi 教授还与韩国釜庆国立大学的 Jang 教授联合开展了虚实像同时显示模式等相关技术研究；韩国光云大学Kim教授领导3立体显示技术研究中心主要研究集成成像技术的理论基础；以Okano 研究员为代表的日本NHK广播公司自1995年以来一直致力于基于集成成像技术的3D电视系统的研制，其科研成果在国际范围内受到了广泛关注。日本东京大学ATRE 科研组于 2004 年对报道称，基于集成成像技术的外科手术导航可将手术误差控制在2mm-3mm范围内。

在国内，各大高校和科研院所高度关注集成成像技术的发展，围绕关键问题展开了相关研究，并取得了一系列科研成果。吉林大学王世刚教授长期从事真三维立体影像处理技术研究，主持国家863项目、国家自然基金项目、国家重点研发计划课题等多个重大项目，具有较强的领域影响力，搭建了“发光二极管（Light Emitting Diode LED）大屏幕裸眼立体影像显示系统”和“真三维集成立体影像采集处理、编码与显示系统”，目前正以国家自然科学基金重点项目为依托，致力于大规模真三维视频获取与集成成像显示关键理论与技术的研究。清华大学戴琼海院士领导的国家实验室在光场信息处理与压缩、三维场景分析、大规模真三维光信息本征表示与获取等方面获得了显著的科研成果，通过研究视觉场的采样理论，设计并构建了协同相机阵列和LED 光源阵列(光场)的动态对象采集装置，搭建了国内首个全景多光照动态光场系统，实现了多光照下动态场景对象的多视角视频采集。四川大学王琼华教授的科研团队主要涉及立体图像的采集及基于双目视差的立体显示技术，对集成成像技术所面临的技术瓶颈也展开了专项研究工作，科研成果得到了业内专家的一致好评。此外，浙江大学、天津大学、上海大学、东北大学等多所高校和科研院所均积极投入到集成成像技术的相关研究工作中，切实推进了集成成像技术的发展进程。

纵观国内外科技发展局势不难发现，面对巨大的市场潜力和日新月异的技术发展潮流，只有积极推进集成成像技术的相关研究，才能确保我国在未来的立体显示标准大战中处于有利地位，以便在保护国内市场的同时积极扩展国际市场。

第 2 章 集成成像系统中的关键技术

集成成像技术可在有限的可视窗口内生成具有全视差和连续变化视角的三维彩色图像，为观看者提供一种无需辅助设备即可直接体验的沉浸式的临场感，现有技术的引入和延伸为该项技术的快速发展提供了有力支撑，推动了相关的理论研究与实用化进程，接下来，本章将具体介绍与本文研究成果相关的理论和技术储备。

2.1 理想的集成成像系统

20世纪50 年代以来，人们逐渐意识到生物系统是开辟新技术的一个关键途径，并积极地将仿生学引入到相关学科领域中。如图 2.1 所示，蜻蜓的眼睛是一种“复眼”结构，由20000-28000只小眼睛组成，每只小眼睛相当于一个独立的感光单元，可以从不同角度对同一目标物体的不同方位信息进行观察并形成一个像点，所有小眼睛的像点便可拼合成一幅完整的图像。在集成成像系统中，如图 2.2 所示，透镜阵列相当于蜻蜓的复眼，透镜阵列中的每个透镜则相当于复眼结构中的每只小眼睛。

在理想情况下，集成成像系统包含采集和显示两个基本过程。在采集过程中，

如图 2.3(a)所示，3D 目标场景不同角度的光线信息通过透镜阵列后以立体元图像的形式记录在记录媒体（如摄影胶片、CCD、CMOS 等）上，记录媒体上所有立体元图像组成一幅完整的立体元图像阵列。在显示过程中，如图2.3(b)所示，透镜阵列放置在显示设备的前方，当背光源以平行光束的形式照射到显示设备上时，立体元图像阵列同时也被投影在透镜阵列上，带有立体元图像信息的显示设备（例如LCD显示器、LED 显示器等）发出的光线经过对应的透镜后形成一个个圆柱形光束，所有光束汇聚在显示屏附近（前方或后方），形成与原始三维场景具有相似三维辐照分布的重构3D场景。由光线的逆向追踪特性可知，显示过程中需使用与采集过程中相同的透镜阵列，或者是采集过程中所使用透镜阵列经等比缩放后的透镜阵列。

2.2 立体元图像阵列的计算机虚拟采集法

目前，3ds Max、MAYA 和 Softimage 等常用的三维动画渲染和制作软件在工程可视化、影视娱乐、工业及建筑设计等领域均得到广泛应用，其中，Autodesk 公司旗下的 3ds Max 软件在视频游戏、影视特效及建筑动画制作等领域占绝对优势。在集成成像系统中，基于 3ds Max 软件的计算机虚拟合成采集法利用虚拟相机阵列模仿透镜阵列的成像光路，对目标场景进行信息采集，从而获得对应的立体元图像阵列。图2.4为基于3ds Max软件的计算机虚拟采集法的实现步骤，图2.5为对应的场景示意图，具体的实现过程主要包括以下四步。第一步，根据显示平台所使用的透镜阵列参数设置虚拟相机阵列。为保证生成的立体元图像阵列能够正常显示，呈棋盘格结构分布的虚拟相机的光学参数及其位置需与组成显示平台的透镜阵列中透镜的参数及其位置完全相同。选择菜单栏中的“创建→摄影机→自由摄影机”，设置镜头焦距，通过手动输入相机坐标值的方式可将虚拟相机放置在棋盘格的各个角点上。第二步，根据实际拍摄需求及透镜阵列的尺寸创建虚拟三维场景。以立体文本为例，首先需要在3ds Max 软件界面右侧的命令面板中依次单击“样条线”及其下方的“文本”选项，在文本输入框中输入文本内容，并设置文本大小；然后点击菜单栏中的“修改器→网格编辑→挤出”，设定挤出值，产生立体感；再选中目标文本，单击右键，选择“属性”，可设置文本对应的颜色；最后，通过设置位置坐标调整文本的具体位置。此外，也可通过操作界面右侧命令面板中的“标准基本体”选用“茶壶”、“管状体”等，或者使用网络下载的其他虚拟物体作为虚拟3D场景。第三步，根据预期拍摄效果设置光源的数量及位置。选择菜单栏中的“创建→灯光→标准灯光→

自由聚光灯”，即可完成单一光源的设置。当所需光源数量大于1时，光源所在的平面需与相机阵列所在平面相平行，且光源光轴垂直于相机阵列平面。第四步，生成立体元图像阵列。虚拟相机阵列中每个相机对应一幅立体元图像。选择菜单栏中的“渲染→批处理渲染”，设置“选定批处理渲染参数”中的“宽度”和“高度”，依次指定每幅立体元图像的输出路径，点击“渲染”，即可在输出路径指定的文件夹中找到所有虚拟相机对应的立体元图像，最后通过简单拼接即可得到对应的立体元图像阵列。

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：