摘 要

手势识别技术作为近年来人机交互的重要研究方向，被广泛运用于医疗康复、可穿戴设备等领域。并且随着计算机视觉技术的成熟，手势识别也在朝着基于神经网络的无接触方向发展。本文利用YCrCb颜色空间的OTSU肤色分割算法完成手势图像的分割和二值化，并用卷积神经网络对图像特征进行提取，完成模型训练。

本文探讨了一种基于YCrCb颜色空间和OTSU的肤色精准分割算法，通过对图像在YCrCb颜色空间下Cr分量的单独OTSU处理，得到肤色分割的最佳阈值，较好地实现了手势区域的分割和二值化。在此基础上，本文建立了一个基于手势二值图的卷积神经网络，通过多层卷积完成手势特征提取，采用最大池化避免模糊化。最后利用PyQt实现图形界面绘制。最终模型取得了不错的识别效果，验证了该算法的可行性。

关键词：手势识别；YCrCb颜色空间；OTSU算法；肤色分割；卷积神经网络

Abstract

As a vital research project of human-computer interaction in recent years, gesture recognition is widely used in medical rehabilitation, wearable devices and other fields. With the maturity of computer vision technology, gesture recognition is also developing in a contactless direction based on CNN. In this paper, the OTSU skin segmentation algorithm of YCrCb color space is used to complete the segmentation and binarization of the gesture images, and the convolutional neural network is used to abstract the image features to complete the model training.

This paper discusses an accurate skin color segmentation algorithm based on YCrCb color space and OTSU. Through the separate OTSU processing of the Cr component in the YCrCb color space, the optimal threshold for skin color segmentation is obtained, and the segmentation of the gesture area and binarization are achieved. Base on this, we established a convolutional neural network based on the binary picture of gestures. The multi-layer convolution is used to complete the gesture feature extraction, and the max-pooling is used to avoid blurring. Finally, PyQt is used to draw the graphical interface. The final model has achieved a good recognition effect and verified the feasibility of the algorithm.

Key Words：Gesture recognition; YCrCb color space; OTSU; Skin segmentation; CNN

目 录

第1章 绪论 1

1.1 研究背景及意义 1

1.2 手势识别的国内外研究现状 1

1.3 课题的主要研究内容和结构 3

第2章 基于卷积神经网络的手势识别基本原理 4

2.1 机器学习的基本原理 4

2.2 手势分割算法基本原理 5

2.2.1 数字图像基本概述 5

2.2.2 颜色空间基本概述 6

2.2.3 OTSU阈值分割算法 7

2.3 卷积神经网络基本原理 8

2.4 本章小结 9

第3章 手势姿态估计算法实现 10

3.1 图像预处理 10

3.1.1 图像去噪 10

3.1.2 光照补偿 11

3.2 手部区域分割算法 12

3.2.1 分割算法的选取 12

3.2.2 形态学处理 15

3.3 卷积神经网络的设计 16

3.3.1 数据增强 16

3.3.2 网络设计 17

3.4 本章小结 19

第4章 总结与展望 20

4.1全文总结 20

4.2工作展望 20

参考文献 22

致谢 24

附录 25

第1章 绪论

1.1 研究背景及意义

近年来，随着VR系统、医疗康复、智能假肢、可穿戴设备的迅猛发展，人们对于更加自然、便捷的手势识别技术和人机交互方式的需求与日俱增，这也为手势识别技术的发展带来了新的机遇和挑战。人们迫切的需要一种可以摆脱对环境和输入设备要求的人机交互方式，手势识别可以满足这个要求，很好的自然的完成人机交互。但是传统的依赖机械设备检测手势的方法需要被检测者佩戴专用的硬件设备以跟踪人手的运动信息。这种手势识别方式不仅需要昂贵的外设，而且对于用户及其不自然，所以其仅仅应用于实验室、工业设备等少数应用场景。随着卷积神经网络相关技术、以及各种彩色RGB摄像头和深度相机的发展，基于卷积神经网络的手势识别方案作为一种新型的人机交互方式逐步进入了大众的视野^[1]，并且逐渐成为计算机视觉中一个重要的研究分支。基于卷积神经网络的手势识别方式的出现为传统手势识别的研究打开了新的思路，对人机交互方式的研究起到了极大的推动作用。相较于传统基于物理外设的交互方式，基于卷积神经网络的手势交互不需要用户佩戴外部设备，更加自然便捷、对于用户也更加友好。同时由于基于卷积网络的手势识别方式除了可以采用深度相机以外，也可以采用普通的RGB彩色摄像头，相较于需要昂贵外设的手势识别方式，其部署成本更为低廉，更有易于大范围推广，有可能成为主流的人机交互解决方案，为人机交互技术带来全新的体验。

本文在目前手势识别研究逐渐转向基于计算机视觉识别方式的背景下，提出里一种基于YCrCb颜色空间和OTSU算法的肤色分割方法，并在此基础上对二值化图像进行卷积神经网络的训练，建立一种手势识别模型。该模型通过肤色的精准分割和模型训练较好地实现了复杂背景下的手势识别。并且达到了较为不错的识别准确率。

1.2 手势识别的国内外研究现状