摘 要

随着信息技术的不断发展，人机交互技术已经受到了整个社会的的高度重视。在美国提出的21世纪信息技术计划中，将人机交互技术列入了其四大研究内容之一。在物联网广泛发展的现在，人机交互作为一门研究系统与使用用户间交互关系的技术，完美契合了物联网通过信息传感设备实现人与人、物与物、人与物全面互联的目的，对更好拓展人对社会和世界的了解，解放人类的生产力，实现更进一步的智能化的目的。成为了当下最炙手可热的话题之一。本文对现在市场上各种手势交互研究的成果进行了梳理，选用时下最热门的Leap Motion体感设备作为开发的工具作为进行虚拟钢琴演奏的工具。

本次设计通过Leap motion上的两个红外摄像头捕捉人双手的手势，并将人的手势识别出来。利用Unity 3D软件构件钢琴模型和用户界面，让用户在视窗内部完成对钢琴的虚拟操作，再将Leap Motion识别的手势与钢琴键进行定位，通过调用Midi库函数，发出相应的钢琴声。完成基于摄像头的虚拟钢琴演奏。

设计完成后，钢琴键均可以进行识别并发出相应的音阶。这样大大提高了钢琴爱好者，告别了原来笨重的钢琴，只需要在空中动动手指就可以弹奏出优美的曲子。

关键词：人机交互；Leap Motion；手势识别；Unity 3D

Abstract

With the development of information technology, human-computer interaction technology has been highly valued by the whole society.On the 21^st Century information technology proposed published by the United States,the human-computer interaction technology has been named as the four most important parts of development. As a subject aimed at communication between computer system and user，with the fashion of Internet of things，Human computer interaction has perfect fitting the propose of Internet of things to make the communication between human to human,human to computer,computer to computer.In this paper,i will show you the research of hand gesture interaction of the whole society and make a Virtual playing system of piano by Leap Motion.

This design through the Leap Motion’s two infrared cameras to capture the hands of people, and recognise the person's hand gesture recognition. Using Unity 3D software to component piano model and the user interface and within the window allows users complete the virtual operation on the piano, and then leap motion recognition of gestures and piano keys to navigate, by calling the Midi library function, a corresponding sound of the piano. Complete the virtual piano performance based on camera.

Key Words：human-computer interaction；Leap Motion；Gesture Recognition；Unity 3D

目 录

摘要 I

Abstract II

第1章 绪论 1

1.1 课题研究背景 1

1.2课题研究目的及意义 1

1.3国内外研究现状 1

1.3.1 MYO腕带 1

1.3.2 Sky录写笔 2

1.3.3 Flow Mouse等系统 2

1.3.4 Kinect体感应用技术 3

1.4论文研究目标与内容 3

第2章 虚拟演奏系统方案设计 4

2.1 采用手势识别技术 4

2.2 基于Leap Motion进行开发 4

第3章 设计工具介绍 5

3.1 Leap Motion工作原理 5

3.1.1 Leap Motion 介绍 5

3.1.2 Leap Motion的工作原理 6

3.1.3 双目视觉原理 7

3.1.4 检验前跟踪技术 8

3.1.5 Leap Motion的运动跟踪 9

3.2 Unity 3D介绍 13

3.3 Blender建模 14

第4章 系统设计 15

4.1钢琴模型的设计 15

4.2 Unity 界面设计 15

4.3 产品的发布 16

第5章 软件设计 17

5.1 手势捕捉部分 17

5.2 Midi发声模块 18

5.3 钢琴键弹奏模块 19

第6章 实物调试与功能测试 20

6.1 测试环境 20

6.2 测试分析 20

第7章 总结与展望 22

7.1 设计总结 22

7.2 研究展望 22

致 谢 23

参考文献 24

第1章 绪论

1.1 课题研究背景

人机交互技术(Human-Computer Interaction，HCI)是研究电脑系统与使用用户之间进行交互关系的学问，通过在人与系统之间使用特定的语言，以一定交互方式，完成某些特定的任务从而进行的信息功能交互的方法^[1]。这里的系统可以指各种机器或计算机的软件。

手势识别作为人机交互的重点，已经成为了世界各大IT巨头下一阶段的重点发展方向。众多公司纷纷推出与自己产品相关的手势识别工具。

1.2课题研究目的及意义

传统的乐器演奏，购买往往需要很大的开销，且占地方，不容易携带，易损耗。随着现代社会生活节奏的不断加快，往往很多时候我们只是在特定的场景下需要乐器。通过研究开发可以虚拟演奏的乐器，大大减少了对乐器的依赖性，避免了运输沉重的乐器所带来的麻烦。

本次设计通过使用手势识别技术，以Leap公司生产的Leap motion为开发工具，通过使用现在主流的Unity 3D构造钢琴，通过对钢琴键盘于Leap motion的捕捉到的手势相匹配，实现乐器的演奏，让演奏变得更加简单，更加多元化。

1.3国内外研究现状

作为人类最灵活的身体器官，基于手部的人机交互最先也是最多的被人们应用在人机交互中。十个手指的共同作用可以产生无限的可能性，以人手为计算机的输入状态，告别了原来单一枯燥的键盘和鼠标的输入，使得人机之间的交互变得更加丰富、更加便捷。