摘 要

abstract II

第1章 绪论 1

1.1 虚拟现实技术的背景 1

1.2 国内外的现状 4

1.3 本文所做的工作 6

第2章 Kinect简介 7

2.1 Kinect硬件组成 7

2.2 Kinect成像原理 10

2.3 Kinnect系统架构 11

2.4 Kinect获取深度图像 12

2.5 人体骨架关节点跟踪 13

2.6 头部姿势和面部表情跟踪 16

第3章 V-Rep简介 18

3.1 V-Rep规格 18

3.2仿真功能 18

3.3场景对象 19

3.4计算模块 19

第4章 基于V-Rep的虚拟环境搭建 21

4.1虚拟现实系统的搭建 21

4.2 虚拟环境的运行 25

第5章 虚拟现实的实现 28

5.1 Kinect计算关节角度 28

5.2 实验的具体实现 29

第6章 结论 32

参考文献 33

附录A：Kinect完整核心代码 34

致谢 37

摘 要

虚拟环境通常是由计算机生成并控制的，使用户身临其境地感知虚拟环境中的物体，通过虚拟现实的三维设备与物体接触，从而真正地实现人机交互。本文主要研究内容是通过Kinect传感设备识别人体骨架并计算出关节角度，传输到V-Rep虚拟环境中，通过关节角度控制机器人的动作与人体动作保持一致。

本文首先论述了Kinect与V-Rep的基本信息，其次在V-Rep中构建了虚拟环境，然后讲述了通过人体骨架模型识别关节点，进而运用程序通过余弦定理计算出了关节实时的角度，最后通过仿真实验表明实验者的左右手动作与机器人的动作是一致的，因此作者认为基于Kinect与V-Rep虚拟环境中的人机交互的实验是成功的。

关键词：虚拟现实；Kinect；V-Rep；人体骨架模型

abstract

Virtual environment is usually generated and controlled by the computer, which allows users to perceive objects in the virtual environment, and to realize the human-computer interaction through the virtual reality 3D devices. The main research content of this paper is to identify the human skeleton through the Kinect sensing device and calculate the joint angle, transfer to the V-Rep virtual environment, through the joint angle control of the robot action and the human body movements.

This thesis firstly discusses the basic information of the Kinect and V-Rep. Secondly in V-Rep constructed virtual environment, then tells the through human skeleton model joint recognition, and then use the program real-time joint angle calculated by cosine theorem. Finally through the simulation experiments show that experimenter left and right hand movement and the robot's movements are consistent. So the author thinks that the experiment of human computer interaction based on Kinect and V-Rep virtual environment is successful.

Key words: virtual reality；V-Rep； Kinect ；human skeleton model

第1章 绪论

1.1 虚拟现实技术的背景

我们所说的虚拟现实技术(Virtual Reality,简称VR)是近些年来发展出现的高新技术。VR从根本上可以说是一项综合集成多领域的技术,它涉及人机交互技术、传感技术、人工智能等领域层面,本质上是利用计算机营造出接近现实的三维视、听、嗅觉等人体触觉^[1]，如图1.1所示。

图1.1 虚拟现实技术的人体感官

近些年来,VR已逐渐从实验室走向现实的世界。在中国,VR的许多项目已经被相关研究机构列入计划之中,VR的发展脚步正高速前行。“虚拟现实技术”对于世界五百强企业来说也是一个鲜为人知的词语,但由于VR的潜在巨大应用价值,已为宝马、通用、波音、苏霍伊等全球500强中的大中型企业广泛应用于设计、营销、培训、客户服务等诸多行业。
VR技术的应用非常广泛,Helsel与Doherty在1993年对全世界范围内已经进行的805项VR研究项目作了统计,数据表明：目前在娱乐、教育及艺术这三个方面的应用占据主流,达到21。4％,其次是军事与航空达到12。7％,医学方面达到6。13％,机器人方面达到6。21％,商业方面占4。96％,另外在可视化计算、制造业等方面也有相当多的比重^[2]。

为了节省成本，通常我们可以从设备、场地、经费、运输等硬件条件的精简来作压缩，但是由此引发的后果是许多实验基本上都无法进行。而利用这项技术，学校的学生可以足不出户就可以做各种学校现阶段所无法提供支持硬件的实验，可以获得基本上与真实实验一样的感受体会。在保证了基本教学效果的前提下，可以极大的节省教学成本。

其次，虚拟现实技术规避了风险（真实的实验或操作很大程度上会带来各种威胁学生人身安全的事故），学生在可以虚拟的实验教室中，大胆放心地去完成各种危险的实验，万一失败也可以认识到实验的危险性，增加自身的危机意识。打破现有技术对空间和时间的限制底，大到宇宙各种天体星球，小至原子乃至粒子，学生都可以通过虚拟现实技术的实现，来进入到这些物体的内部更加深入的进行观察。一些可能需要数十年甚至几百年才可能观察得到的变化过程，通过虚拟现实技术可以在很短的时间几分钟或者几秒内，呈现给学生犹如亲临般的观察。例如，生物中的遗传定律，用果蝇做实验可能需要好几个月的时间，但是利用虚拟现实技术，这项实验课程教学几天就可以完成。

1. 医学应用方面

图1.2 可用于教学的虚拟器官

虚拟现实技术在医学方面的采用具有很重要的现实意义。在构建的虚拟环境中，可以架设虚拟的肢体或器官模型，借助于跟踪球、HMD、感觉手套，使用者可能够直接了解人体内部各个器官的层次结构，这比现有的采用教科书教学的方式要有效得很多。
在90年代初，有外国学者创建了一个虚拟现实的外科手术训练仪器，用于胸腹部外科手术过程的模拟^[3]，如图1.2所示。这个虚拟的环境中包含了虚拟的手术相关仪器，虚拟的外科物品，虚拟的肢体部位或器官模型等。通过HMD与感觉手套的使用，使用者可以对虚拟的器官模型进行逼真的手术。但该系统进入医院还需要进一步的改善，例如需提高环境的细腻感，增加网络通讯功能，使在这个环境中可以培训多个试验者，或可在异地专家的教导下进行手术操作等。