1. 研究目的与意义（文献综述）

1.目的及意义（含国内外的研究现状分析）

人机交互是研究人与计算机及其相互作用的技术，其研究目的在于利用所有可能的信息通道进行人机交流，提高交互的自然性和高效性。目前应用最为广泛，技术最为成熟的人机交互方式依然是键盘与鼠标，这种交互方式的单一性和低效性使得人们对于更高层次，更友好的人机交互方式提出需求。现阶段人机交互新技术的研究内容主要集中在手势输入，语音识别，人脑控制等方面。研究开发新的人机交互方式不仅能极大的提高输入输出效率，同时能带来更好的人机交互体验。

2005年之后，随着智能mp4播放器可触屏操作的出现，触摸屏操作在便捷性上有了极大的提高。触控式设备比较常见的有平板电脑，智能手机等，需要使用者手指触碰屏幕。触控式设备，经历了从电阻屏到电容屏的发展过程，交互手段日趋成熟。然而触控式交互仍在操作形式，位置上有一定的局限性。对于便捷性和自由度更高的需求促成了体感式交互技术这一新型人机交互方式的发展。

2. 研究的基本内容与方案

2.研究（设计）的基本内容、目标、拟采用的技术方案及措施

2.1基本内容目标：

利用Leapmotion完成视觉采集和处理实现对手部动作的跟踪，并把动作信息引入到Unity虚拟现实开发平台，完成手部动作的信息到虚拟场景的映射，实现对虚拟电子琴的演奏。

2.2技术方案及措施：

本设计采用Leapmotion完成视觉采集和处理实现对手部动作的跟踪，并把动作信息引入到Unity虚拟现实开发平台，完成手部动作的信息到虚拟场景的映射，同时与unity中的电子琴进行交互，实现对虚拟电子琴的演奏。

虚拟电子琴系统的设计主要包括两个模块，即leapmotion模块以及unity模块，leapmotion模块主要功能是手势的识别以及信息的处理，要求能够准确的识别手势，同时将其映射到虚拟场景之中，要完成这一步，通过leapmotion设置与unity集成，就可以在unity中产生Hand Controller，这个是允许你和Leap Motion设备交互的主要预制体，它作为锚点将你的双手渲染到场景中。Unity模块主要是在场景中显现你的双手，同时在场景之中加入电子琴，通过交互脚本即可做到手与电子琴的交互，实现虚拟电子琴的演奏。

基于Unity与Leapmotion的虚拟电子琴系统结构框图如下图所示：

图1.虚拟电子琴结构框图

本次设计重点是要做好unity与leapmotion的协同开发工作，其中需要做好场景的搭建工作，同时将手势识别映射到场景之中，手与电子琴的交互需要通过交互脚本的编写来完成，为了保证交互的准确性，即手指按电子琴键的准确性，可以把手势与电子琴按键一一对应，这样就能准确地完成手部动作的信息到虚拟场景的映射，实现对虚拟电子琴的演奏。

3. 研究计划与安排

3.进度安排

第1-2周：查资料及撰写开题报告

第 3 周：审查并修改开题报告

4. 参考文献（12篇以上）

4.参考文献

[1]贾永红. 数字图象处理[m]. 武汉：武汉大学出版社，2011

[2]王巍. leap motion人机交互应用开发[m]. 西安： 西安电子科技大学出版社, 2015