摘 要

随着人工智能时代的到来，人机交互已经成为时代的主题，基于手势识别的人机交互具有方便灵活的特点，在手语识别，智能监控等方面都有着广泛的应用，因此手势识别也成为该领域的研究热点之一。

本文主要从Microsoft Visual 2015平台出发借助于opencv开源库来实现实时手势识别与跟踪。经由YCrCb色彩空间来进行肤色分割，并且基于Hu矩的轮廓匹配的方法来对数字手势1~9进行识别，并结合基于重心距离的指尖检测来进一步提高识别率，通过轮廓过滤的方法来减小小块区域的类肤色点的干扰；并且在手势跟踪中，通过Adaboost分类器训练手掌和拳头分类器来检测手掌和拳头，获取肤色直方图并通过反向投影图获得肤色概率分布图，并为了减少人脸和类肤色点的干扰，使用背景差分的方法提取手部运动区域，通过Mean-shift算法来寻求肤色最大概率位置从而实现跟踪，经由手掌来控制鼠标的移动，而拳头来实现鼠标的点击。

关键词：手势分割；特征提取；Adaboost分类器；mean-shift跟踪算法；人机交互

Abstract

With the advent of the artificial intelligence era, human-computer interaction has become the theme of the times. The human-computer interaction based on gesture recognition has the characteristics of convenience and flexibility. It has a wide range of applications in sign language recognition and intelligent monitoring. Therefore, gesture recognition has also become One of the research hotspots in this field.

This article mainly uses the opencv open source library to realize real-time gesture recognition and tracking from the Microsoft Visual 2015 platform. The skin color segmentation is performed through the YCrCb color space, and the digital gestures 1 to 9 are identified based on the Hu moment contour matching method, and the fingertip detection based on the center of gravity distance is further used to further improve the recognition rate, and the contour filtering method is used to reduce Interference with skin-like points in small areas; and in gesture tracking, use the Haar-based Adaboost classifier to train the palm and fist classifiers to detect palms and fists, obtain skin histograms, and obtain skin color probabilities through back projections Distribution map, and in order to reduce the interference of face and skin-like spots, use the background difference method to extract the hand motion area, use the Mean-shift algorithm to find the maximum probability position of the skin color to achieve tracking, and control the movement of the mouse through the palm, Fist to achieve mouse clicks.

Key Words：Gesture segmentation；Feature extraction；Adaboost classifier；Mean-shift tracking algorithm；Human interaction

目 录

第1章 绪论 1

1.1 研究背景及意义 1

1.1.1 研究背景 1

1.1.2 研究意义 1

1.2 国内外研究现状 1

1.3 本文组织结构与安排 2

第2章 手部区域分割与图像处理 4

2.1 图像预处理 4

2.1.1 滤波处理 4

2.1.2 形态学处理 5

2.1.3 背景差分法 6

2.2 基于肤色的手势分割 7

2.2.1 基于YCrCb颜色空间 7

2.2.2 基于HSV颜色空间 8

2.2.3 方案选择 8

第3章 手势特征提取 10

3.1 基于Hu的特征提取 10

3.1.1 Hu矩 10

3.1.2 轮廓提取 12

3.2 基于指尖检测特征提取 14

3.1.1 基于曲率圆的指尖检测 14

3.1.2 基于重心距离法的指尖检测 14

3.3 Haar特征和Adaboost分类器 15

3.3.1 Haar特征 15

3.3.2 Adaboost算法 16

3.3.3 使用Adaboost训练检测器 17

第4章 手部跟踪与手势识别结果 19

4.1 手部跟踪算法 19

4.1.1 mean-shift跟踪算法 19

4.1.2 反向投影图 22

4.1.3 手势控制鼠标光标 22

4.2 手势识别综述 23

4.2.1 模板匹配 23

4.2.2 基于机器学习的创造分类器识别 24

第5章 总结与展望 26

5.1 总结 26

5.2 展望 26

参考文献 28

致 谢 30

第1章 绪论

1.1 研究背景及意义

1.1.1 研究背景

伴随着计算机技术的发展，人机交互已经越来越深入地融入了人类的生活，成为这个时代的显著特色之一，由于手势本身具有多样性，模糊性以及人手本来就是复杂的变换体，手势识别成为研究热点之一^[1]。