1.目的及意义

人机交互是研究人与计算机及其相互作用的技术，其研究目的在于利用所有可能的信息通道进行人机交流，提高交互的自然性和高效性。目前应用最为广泛，技术最为成熟的人机交互方式依然是键盘与鼠标，这种交互方式的单一性和低效性使得人们对于更高层次，更友好的人机交互方式提出需求。现阶段人机交互新技术的研究内容主要集中在手势输入，语音识别，人脑控制等方面。研究开发新的人机交互方式不仅能极大的提高输入输出效率，同时能带来更好的人机交互体验。

2005年之后，随着智能mp4播放器可触屏操作的出现，触摸屏操作在便捷性上有了极大的提高。触控式设备比较常见的有平板电脑，智能手机等，需要使用者手指触碰屏幕。触控式设备，经历了从电阻屏到电容屏的发展过程，交互手段日趋成熟。然而触控式交互仍在操作形式，位置上有一定的局限性。对于便捷性和自由度更高的需求促成了体感式交互技术这一新型人机交互方式的发展。

体感又称人体感应，人们可以很直接地使用肢体动作与周边的装置或环境互动，无须使用任何复杂的控制设备，便可让人们身临其境的与机器中内容做互动。经过近年来的发展体感交互技术日益发展，新技术的发展可以给我人们在日常生活娱乐方面带来新的体验，基于leapmotion与unity3D的虚拟电子琴设计就是在这方面的应用。

作为一种新颖的交互式设备，Leap公司于2013年推出了LeapMotion双目体感摄像机，它依赖于内置双目相机和红外LED高精度地捕获、跟踪和分析手指和手的运动，再通过软件处理图像数据，将其转化为手势和触摸事件。目前国内展开的LeapMotion相关应用研究及开发的数量较少。在应用研究方面，陈童等人实现基于LeapMotion的中国古琴声画结合的交互设计，通过基于虚拟现实设备与手势识别技术的古琴音乐的虚拟演奏，真实表现了中国传统音画的意蕴与气韵，提供了更具视觉震撼力的古琴互动体验。

LeapMotion能在PC及Mac上通过手势控制电脑，只需挥动手指即可浏览网页、阅读文章、翻看照片及播放音乐。LeapMotion在体感游戏领域有着自身的独特优势就是其高精度的手势识别。人与电脑间的开阔空间，现已成为双手和手指的舞台。不论他们的每一次移动多么细微，又或是多么大幅度，Leapmotion控制器都能精确地追踪，从技术上说，这就是一个8立方英尺的可交互式3D空间，深度体现了人机交互的理念。

Unity3D不仅是一款单纯的游戏引擎，而且是涉及多种不同领域的一个跨平台的三维游戏与虚拟现实开发工具，该工具从一开始就被设计成易于使用的产品，包括用户界面、支持多脚本语言以及强大的物理引擎等特点，这些让Unity3D成为深受广大虚拟现实工程师欢迎的开发平台。Unity3D支持众多领域的3D交互开发，主要包括游戏开发、增强现实、3DWeb、建筑、时装、商品宣传等，所有领域的开发都支持跨平台发布，能在很短时间内开发出需要的产品，并且是最好的开发工具之一。

2. 研究的基本内容与方案

2.研究（设计）的基本内容、目标、拟采用的技术方案及措施

2.1基本内容目标：

利用Leapmotion完成视觉采集和处理实现对手部动作的跟踪，并把动作信息引入到Unity虚拟现实开发平台，完成手部动作的信息到虚拟场景的映射，实现对虚拟电子琴的演奏。