摘 要

随着科学技术的不断发展，人机交互技术越来越受到人们的推崇。手势识别，作为新一代人机交互中所不可缺少的关键技术，重要性不言而喻。手势识别的交互方式摆脱传统键盘鼠标的束缚，因其更符合人类自身的习惯，具有广泛的应用前景。

本文首先对手势识别技术的分类和一般的处理流程进行了简要介绍，以及研究现状和存在的困难与挑战。接着介绍了手势图像预处理技术，给出了现阶段比较常用的手势分割算法。考虑到动态手势的一般有如下三种情形：只考虑手形变化、只考虑运动轨迹、手形变化与运动轨迹相结合，我们在手势特征的选择和提取阶段，针对不同种情况，分别选取了三种不同的特征提取技术。在完成手势特征提取之后，我们重点研究了DTW算法和HMM算法的区别，尤为重要的研究了DTW算法的原理及实现过程。

本课题研究人机交互中动态手势识别及应用，主要包括以下内容：1．自定义 8 种动态手势，建立了手势数据库；2．根据动态手势的运动轨迹模型，提取相邻轨迹点之间的角度值作为手势特征，并采用12方向链码进行量化编码，得到最终的手势特征序列。3．重点研究使用动态时间规整(DTW)算法识别动态手势具体过程，包括模板训练和识别。

最后，提出本文所采用的识别方法，我们通过光流计算提取手势特征，并采用DTW（动态时间规整）技术来完成手势识别。

关键词：手势识别；手势分割；特征提取；DTW

Summary  

With the continuous development of science and technology, human-computer interaction technology more and more people are respected. Gesture recognition, as a new generation of human-computer interaction in the indispensable key technology, the importance of self-evident. Gesture recognition interaction shackles away from the traditional keyboard and mouse, because it is more in line with the habits of human beings, has broad application prospects.

Firstly, the classification of gesture recognition technology and general process flow is briefly introduced, and the research status and the difficulties and challenges exist. Then it introduced the gesture image pre-processing technique, a more common stage gesture segmentation. Taking into account the dynamic gestures generally have the following three scenarios: consider only the hand shape change, considering only the trajectory, the hand changes the trajectory of the combination, we gesture feature selection and extraction stage, for different kinds of situations, were selected three different feature extraction technique. After completing the gesture feature extraction, we focus on the differences between DTW algorithm and HMM algorithm is particularly important to study the principles of DTW algorithm and implementation process.

The research in human-computer interaction and dynamic gesture recognition applications, including the following: 1. Custom eight kinds of dynamic gesture, a gesture to establish a database; 2. The dynamic gesture trajectory models, the extraction point angle between adjacent tracks as a gesture feature values, and using the direction of the chain 12 encodes quantization code to obtain a final sequence of gesture characteristics. 3. It focuses on the use of dynamic time warping (DTW) algorithm identifies dynamic gestures specific process, including training and recognition templates.

   Finally, the identification method used in this paper, we calculate the optical flow by extracting gesture characteristics, and the use DTW (dynamic time warping) technology to complete the gesture recognition.

 
Keywords: gesture recognition; gesture segmentation; feature extraction; DTW

目录

第一章 绪论 1

1.1手势识别及其应用 1

1.1.1用于帮助残疾人更好的生活 1

1.1.2.用于智能家居和家庭娱乐 2

1.1.3.用于智能驾驶和交通方面 2

1.1.4.用于机器人操控方面 2

1.2 手势识别研究内容及关键技术 3

1.2.1 手势图像预处理与手势分割 3

1.2.2手势建模 4

1.2.3手势分析 4

1.2.4手势识别 5

第二章 动态手势的预处理 6

2.1动态手势的采集 6

2.1.1利用Kinect传感器采集 6

2.1.2利用普通摄像头采集 7

2.2手势数据库的建立 8

2.3动态手势分割算法 11

2.3.1 常用动态手势分割算法 11

2.3.2 多信息融合与帧间差分相结合的分割算法 12

第三章 手势特征提取 14

3.1运动轨迹的特征提取 14

3.1.1 手势轨迹点 14

3.1.2 特征提取 16

3.2角度量化 17

3.3量化结果分析 18

3.4本章小结 18

第四章 动态手势识别算法研究 20

4.1本章概述 20

4.2 DTW识别算法研究 20

4.2.1 DTW算法实现原理 20

4.2.2 算法对路径的约束条件 21

4.3 DTW算法模板训练 23

4.3.1 模板训练 23

4.3.2 DTW算法注意问题 24

4.4DTW仿真算法的实现 25

4.5实验结果分析 26

结语 28

参考文献 29

致 谢 31

第一章 绪论

1.1手势识别及其应用

手势,简单来说，就是手臂姿势。人在使用手臂时，所呈现的状态与位置，就是手势。它是人类最早出现的、至今仍被普遍运用的一种寒暄方式。其中包括通用的，如聋哑人使用的手语。还有在特定情况下的该种系统，如海军陆战队。一般来说，手势有动态与静态之分。在持久的社会发展过程中，手势被交付了各种特定的意义，具有丰硕的表达能力，手势也慢慢成了人类表达感情的最有用的手段，在体态表达中占很高的地位。手势作为一种常用的表达方式在现实生活中具有重大意义。

近些年来，随着互联网的快速发展和科技水平的逐步提高，人机交互技术(Human-Computer Interaction Techniques)也受到人们的广泛关注。之前的键盘和鼠标交互方法慢慢出现了局限性，适应时代的变化的新的交互方式的研究迫在眉睫，人机交互慢慢从“以机器为中心”向“以人为中心”改变。人机交互（Human-Computer Interaction, 简写HCI）：是说人和计算机之间采用某种对话言语，以一定的交互方式，为完成确定任务，人与计算机进行信息交换过程。手势识别也属于人机交互中的一个重要组成部分。目前已经有许多新的交互方式，如：手势识别、语音识别、表情识别等。新的交互设备，也在市场上应运而生，如：Leap Motion、Oculus Rift、Kinect、Google Glass 等，它们为人机交互带来了新的挑战和机遇。

手势识别作为一种重要的交流方式，它的研究具有十分开阔的发展前途和普遍的应用。

1.1.1用于帮助残疾人更好的生活

在现实生活中，我们总能看到一些残疾人，他们其中有的因聋哑无法与外界交流，有的因伤残只能活动身体的一部分。这些残疾给他们的生活带来了太多的不便。而手势识别可以通过识别残疾人简单的手势动作，对手势加以分析，通过一系列算法操作，进而将聋哑人的手势转换为语音，或者是将腿部有伤残的人操作轮椅。这无疑会大大方便残疾人的生活，方便他们更好的融入社会，有利于社会的长治久安。

1.1.2.用于智能家居和家庭娱乐

手势识别将允许用户从远处只用手指就可以控制各种智能家用电器。在这种环境中我们只无需拿起遥控器，只需要简单的手势就可以打开或者关闭灯光、控制空调的温度及调节灯光的明亮度等。家庭娱乐在家里的重要性不言而喻，现代人也很喜欢在家里看电视、打游戏。手势识别应用到这些方面，会大大丰富家庭的休闲娱乐生活，有利于营造和谐的家庭氛围和融洽的家庭关系。

1.1.3.用于智能驾驶和交通方面

驾驶中驾驶人与中控的互动一直被认为是不安全因素之一，其主要原因就是因为人机交互过程吸引了驾驶人过多的注意力，导致驾驶人无法集中精力进行驾驶，极易发生交通事故。这方面，手势识别又可以发挥很大作用。在15年的时候，宝马公司展出的最新iDrive系统，引入了手势识别功能，这是它的重要变化。该系统通过安装在车顶上的3D传感器，进行对驾驶员手势的识别，实现对信息娱乐系统、车辆导航等功能的控制。手势识别在交通发展也有至关重要的作用。

1.1.4.用于机器人操控方面

手势识别可以很方便的通过简单的手势，进行识别后实现对机器人的操作命令，尤其适用于机器人从事一些高危工作，避免人体直接接触导致受伤的情况时。