1. 研究目的与意义（文献综述）

1.1 研究目的及意义

随着计算机应用技术的不断发展，人与计算机的交互活动越来越成为人们日常生活 的一个重要组成部分。这种活动极大地丰富了人们的生活，它甚至给我们带来了一个新的名词，即人机交互(human-computerinteraction)。人机交互使得人类与计算机的距离更近了一步，由于有了人的较为全面的参与，人机交互更加贴近现实也更加丰富，例如人的头部追踪、面部表情识别、眼动检测、手势识别、骨骼识别以及人体各类姿势的识别与互动等等。而作为人类与计算机进行交互中非常自由、自然的交互方式，手势识别一直以来都是计算机视觉以及人机交互研究中的热点问题。手势识别就是通过人体佩戴设备捕捉手部

数据或者利用机器视觉捕获人的手部图像，从而对特定静态或动态手势进行分类识别的过程。

2. 研究的基本内容与方案

本次设计主要是研究基于rgbd深度图像的手势识别，并将手势识别算法应用到ur双臂机器人，实现人机交互。

手势识别主要有静态手势识别和动态手势识别两种方式。静态手势识别是通过图像分割的方式识别图像中手的姿势和形状等特征，常用算法有模板匹配算法、神经网络算法和支持向量机算法等。动态手势识别比较复杂，是通过对特定时间内静态图像序列中手的运动轨迹变化来实现对不同手势的识别，动态手势识别中较为成熟的算法有基于语法、基于模板和基于统计的方法。本次设计采用了由微软公司推出的kinect深度摄像头，用于捕获视野范围内的深度数据，形成rgbd深度图像，并利用了卷积神经网络，设计了一个基于深度信息的静态手势识别系统，该系统能够实时地对从kinect摄像头输入的几组常用的静态手势进行识别，并把识别结果反馈到ur双臂机器人。具体的内容包括：手势图像的获取、手势图像的分割、手势图像的特征提取、手势图像的分类识别。系统设计的结构框图如图1所示：

3. 研究计划与安排

（1）第1－4周：查阅相关文献资料，明确研究内容，了解研究所需理论基础。确定方案，完成开题报告。

（2）第5－6周：熟悉掌握基本理论，完成英文资料的翻译，熟悉相关工具软件的使用。

（3）第7－9周：实现手势识别算法的设计和仿真。

4. 参考文献（12篇以上）

[1] bhuyan m k，kumar d a，macdorman k f，et al.a novelset of features for continuous hand gesture recognition[j].journal onmultimodal user interfaces,2014，8(4):333-343.

[2] seongwan kim, yuseok ban, sangyounlee. tracking and classification of in-air hand gesture based on thermal guidedjoint filter[j]. sensors, 2017, 17(1).

[3] zhaojie ju，yuehui wang，wei zeng，haibin cai，honghai liu. amodified em algorithm for hand gesture segmentation in rgb-d data [j].ieeeinternational conference，2014.