摘 要

时代的发展日新月异，科技同样如此。人机交互作为当下最热门的技术之一，与我们的生活息息相关。手势识别技术作为人机交互技术中极为重要的一个方面，越来越被开发人员重视，在日常生活中所涉及的领域也越来越多。

本文中设计的手势控制系统，结合了背景差分法和肤色识别法，完成了对手势的识别和分割。其中，背景差分法是一种相对简单且容易实现的提取运动物体的方式，主要是将当前帧与背景帧进行差分处理来得到运动物体的整体轮廓。本文中用到的肤色识别是将摄像头采集到的RGB图片转换到YCrCb颜色空间，并根据经验判断，当CrCb值满足：，那么该点就可以认为是肤色点。本文主要对以上两种方法进行研究，将两种方法相结合，完成对手势的识别和分割的目的，并在此基础上，通过识别手势进一步对鼠标进行控制。

综合来看，本系统对于手势的识别和判断还是较为准确的。本系统可以较好地识别出手部，并判断“拳”和“掌”两种手势，且判断准确率较高。当手势区域出现在图像中时，可以较准确地控制鼠标的移动、按键点击和按键放开。

关键词：手势识别，背景差分法，肤色识别，OpenCV，模拟鼠标控制

Abstract

Technology changes rapidly nowadays. As one of the hottest technologies these years, human-computer interaction has significant influence to our daily lives, and draws increasingly attention in academia and industry. As a very important aspect of human-computer interaction technology, gesture recognition technology attracts more and more interests from developers, and its application areas are also spreading.

In this paper, a gesture control system is designed and implemented. By combining the background difference method and the skin color recognition method, the proposed system completes recognition and segmentation of gestures. The background difference method is a relatively simple way in terms of extracting moving objects in videos. The core idea of the background difference method is doing differentiating operation between the current frame and the background frame so as to get the contour of moving objects. The skin color recognition method used in this paper is to convert the RGB pictures collected by the camera into the YCrCb color space, and then with the help of experts’ experiences, the skin color point can be found if the CrCb value satisfies: ,. This paper studies these two methods and combines them to accomplish gesture recognition and segmentation. By the proposed method, we design a system that can control the mouse by hand gesture.

In summary, the proposed gesture control system achieves high accuracy. The system can find a hand, and recognize gestures "fist" and "palm" accurately. With this system, you can control the mouse movement, left-click and left-click-release, etc., when the hand gesture area appears in the video.

Key Words: Gesture recognition, background difference method, skin color recognition, OpenCV, simulated mouse control

目 录

第一章 绪论 1

1.1 研究目的及意义 1

1.2 国内外研究现状 2

1.3 研究内容 2

第二章 手势识别关键技术 4

2.1 手势识别技术 4

2.1.1 手势识别技术分类 4

2.1.2 手势建模 4

2.1.3 手势识别算法 5

2.2 预处理 7

2.2.1 平滑处理 7

2.2.2 形态学处理 8

2.3 肤色识别 8

2.3.1 颜色空间 8

2.3.2 YCrCb颜色空间 9

2.4 背景差分法 9

第三章 整体方案设计与系统实现 13

3.1 系统平台简介 13

3.2 整体设计思路 13

3.3 系统实现方法 14

3.3.1 手势定义 14

3.3.2 手势图像采集 15

3.3.3 图像预处理 16

3.3.4 模拟鼠标控制技术 16

3.4 系统实现流程 18

第四章 系统测试与结果分析 20

4.1 系统测试 20

4.1.1 手势识别部分运行效果 20

4.1.2 系统整体运行效果 22

4.2 结果分析 24

第五章 总结与展望 25

参考文献 26

致 谢 28

第1章 绪论

1.1 研究目的及意义

时代的发展日新月异，科技同样如此。人机交互作为当下最热门的技术之一，与我们的生活息息相关。在八九十年代，我们使用的是笨重的有线鼠标、键盘。而到了二十一世纪，我们使用的是触摸屏、声控解锁，人机交互的方式也在日常生活中不断进步。

最早的人机交互技术研究在1959年提出，内容是关于如何在人操纵计算机时减轻疲劳，即如何使人去适应计算机。到了20世纪90年代后期，人机交互的重点才开始逐渐转变到以人为主的交互方式上。