摘 要

随着人们对高质量、易掌控的生活的追求，识别技术应运而起，指纹识别、面部识别、虹膜识别、文字识别等在实际生活中也随处可见。手势识别技术实现了可脱离鼠标和键盘的简单人机交互，是一门基于计算机科学的多学科交叉技术。

本论文的主要工作包括图像获取、图像预处理、特征提取和神经网络搭建四大部分。其中手势图像是直接通过摄像头直接获取然后经过USB传输至设备，从而加载到MATLAB中。手势图像预处理包括灰度转化、滤波去噪、图像二值化处理、图像手势像分割、手势边缘提取，可得到便于提取特征的二值图和边缘图。手势特征提取关乎到整个识别系统的效率，本文中提取了便于区分简单手势的三个特征。本文利用人工神经网络对手势图像进行识别。通过对比各种人工神经网络，最后选择BP神经网络。本文整个研究过程都依托于MATLAB图像处理工具，无论是图像预处理、特征提取还是构建神经网络，其操作和程序都简单易懂。

实验发现，在背景和光照角度选取合适的情况下，本系统可以准确地识别出样本库中已有的手势，且有一定的识别能力。但是也存在不少欠缺：背景应与肤色反差较大、手势仅允许特殊形式的水平旋转等。

关键词：手势识别；BP神经网络；特征提取；MATLAB工具箱

Abstract

With the pursuit of high quality and easy control of life, identification technology developing rapidly. Fingerprint recognition, facial recognition, iris recognition, text recognition and so on in real life can also be seen everywhere. Gesture identification technology to achieve a detachable from the mouse and keyboard simple human-computer interaction, which is a multidisciplinary crossover technology based on computer science.

The main work of my thesis includes image acquisition, image preprocessing, feature extraction and neural network construction. And the gesture image is directly obtained through the camera and then transferred to the device via USB, which is loaded into MATLAB. Gesture image preprocessing includes binarization, filtering denoising, image binarization, image gesture segmentation, gesture edge extraction, and then get binary map and edge map that facilitates the extraction of features. Gesture feature extraction is related to the efficiency of the whole recognition system. So in this thesis, three features of the simple gesture are extracted. In this thesis, artificial neural networks are used to identify gesture images. By comparing various artificial neural networks, BP neural network is finally selected. While the whole research process relies on MATLAB image processing tools, so no matter it is image preprocessing, feature extraction or construction of neural networks, the operation and procedures are easy to understand.

It is also found that the system can accurately identify the gestures already in the sample database when the background and the illumination angle are selected suitably, and have a certain ability to identify. But there are also many deficiencies: the background should be contrast with the skin color, gestures only allow special forms of horizontal rotation and so on.

Key words: Gesture recognition; BP neural network; Feature exaction; MATLAB toolbox

目 录

第1章 绪论 1

1.1 课题研究目的及意义 1

1.2 国内外研究现状 1

1.3 手势识别的方法及应用 3

1.3.1 手势识别的方法 3

1.3.2 手势识别的应用 4

1.4 本论文的主要工作 4

第2章 手势图像获取及简单预处理 6

2.1 静态手势获取 6

2.2 手势图像简单预处理 7

2.2.1 图像预处理概述 7

2.2.2 RGB图像转换为灰度图像 9

2.2.3 图像滤波处理 10

2.3 简单预处理结果分析 11

2.4 本章小结 13

第3章 手势分割与特征提取 14

3.1 手势图像分割 14

3.1.1 手势图像二值化处理 14

3.1.2 手势图像边缘检测 16

3.2 手势特征选取 19

3.2.1 求取最大外围矩形 19

3.2.2 确定手势特征 20

3.3样本库构建 21

3.4 本章小结 22

第4章 基于神经网络的识别分类 23

4.1 人工神经网络概述 23

4.2 BP神经网络 24

4.2.1 BP神经网络概述 24

4.2.2 构建神经网络模型 25

4.3 手势分类 28

4.3.1 网络模型的训练与测试 28

4.3.2 网络模型的改进 30

4.4 本章小结 33

第5章 识别系统分析 34

第6章 总结与展望 36

参考文献 37

附录 38

致谢 44

第1章 绪论

1.1 课题研究目的及意义

随着计算机技术逐渐走向成熟，软硬件技术发展进入指数爆发时期，人机交互也不仅仅局限于简单的鼠标键盘。生活中随处可见的输入法中的语音识别，某应用软件面部识别登录以及指纹支付等都属于新时期的自然人机交互方式。当下科技正努力向更复杂的交互控制方式发展，这些也淋漓尽致的展现在众多科幻电影中。

手势识别技术是一门基于计算机科学的多学科交叉技术，其研究涉及计算机视觉、神经网络、图像处理、模式识别等学科。与其他人机交互方式相比，手势识别技术可以很好的实现从传统接触输入装置解放出来，具有更自然、方便、经济以及更好的用户体验感等特点，很大程度弥补了鼠标键盘等输入设备给用户带来的操作上的不足，这些外部设备属于消耗品，寿命有限，常因内部元器件损坏就要更换设备，使用相对不够便利。科技带给人类的便利使得人们受益匪浅，同时人类又是贪婪的，不安现状，努力寻求更加便捷的人机交互手段。所以从目前形势来看手势识别技术有着很好的科研价值和市场应用价值。

手势即手的姿势，在长期的社会实践中不同的手势被人类赋予了不同的表达意义，手势可以通过简单的视觉来识别表意，也可进行编码在对其进行识别，如采集手部特征、臂部肌肉活动信号等一一对应手势。手势分为静态手势和动态手势两种 ^[1]。动态手势实际上可看做是有限个静态手势，可表示更丰富的语义。根据动态手势识别设计用途更广泛的人机交互界面，是新一代的人机交互对输入方式必然性要求，可以极大优化传统交互方式。