论文总字数：28136字

摘 要

随着时代的发展和科技的进步，人们已经完全不满足于通过指示装置、键盘鼠标、遥控设备等传统模式来进行人机的交互，愈加期待能够有更加原始的方式来进行更加自然的人机互动。自然的交互体验即肢体语言以及声音语言，其中最常见的莫过于姿势在日常生活中的体现，这也是人类有别于其他物种的独特之处。人们会经常用多样的姿势来诉说自己想传达的消息，所以不能局限于人与人的交流，人与机器的交流同样也需要这样最简单最轻松的沟通互动方式，因此建立一个良好可靠的智能识别系统是十分必要的。

基于Kinect的智能控制系统是基于Kinect、Kinect SDK for Windows以及Kinect适配器等设备工具开发出来的一种动作识别与处理系统。这套系统可以捕捉到人物全身的重要骨骼、关节点，通过Kinect的三个功能不同的特殊摄像头，并在其摄像的有效范围之内，能够将人们的动作进行提取和分解，获取关节点对应的空间三维坐标，并选取极短暂的一段时间窗内的相应空间三维数组数据与程序中的姿势判断样本进行比对，从而达到动作的识别。

本论文在简要介绍了如何利用Kinect的各个摄像机获取的彩色图像和深度图像数据处理后的基础上，描述了基于Kinect的姿态识别与处理的智能系统开发详细过程，包括调用彩色摄像机和深度摄像机获取到的人物图像、基于获取图像的人物骨架的识别和搭建、骨骼的跟踪以及动作的识别、姿态识别相关参数的存储以及被识别动作的对比，另外还有误差调试等方面的内容。以此设计完成的基于Kinect的智能控制系统是姿态识别的具体应用，已经可以顺利实现对人体简单姿态的快速识别。通过对代码的调试误差和耐心优化后，基本可以完美实现对已建立的姿态识别库中的人体各个姿态几近100%正确的识别处理。

关键词：Kinect 深度数据处理 骨骼 姿态识别

Design of Intelligent Control System Based on Kinect

Abstract

With the development of the times and the advancement of science and technology, people have not been completely satisfied with the human-machine interaction through traditional models such as pointing devices, keyboards and mice, and remote control devices, and more and more people are looking forward to more primitive ways to carry out more natural human-machine interactions. interactive. The natural interactive experience is body language and sound language. The most common is the expression of posture in daily life, which is also unique to humans from other species. People often use a variety of gestures to tell the message they want to convey, so they can't be limited to human-to-human communication. People-to-machine communication also needs the simplest and easiest way to communicate and interact, so build a good and reliable intelligence. Identifying the system is very necessary.

The intelligent control system based on Kinect is a motion recognition and processing system developed based on Kinect, Kinect SDK for Windows and Kinect adapter and other device tools. This system can capture the important bones and joints of a person's whole body. Through the special three cameras with different functions of Kinect, and within the effective range of the camera, it can extract and decompose people's movements and obtain the corresponding points of the joints. The spatial three-dimensional coordinates are selected and the corresponding spatial three-dimensional array data in a very short period of time window is compared with the posture judgment sample in the program to achieve the recognition of the motion.

This paper briefly describes how to use the Kinect-based gesture recognition and processing intelligent system development process based on how to use the color image and depth image data acquired by each camera of Kinect, including the call of a color camera and a depth camera. The image of the character, the identification and construction of the skeleton based on the captured image, the tracking of the skeleton, the recognition of the movement, the storage of the parameters related to the gesture recognition, and the comparison of the recognized movement, as well as the error adjustment and other aspects. The Kinect-based intelligent control system designed and implemented in this way is a concrete application of gesture recognition, and can quickly realize the simple recognition of human body's simple posture. Through the debugging error and patience optimization of the code, it can basically realize nearly 100% correct recognition processing of the various postures of the human body in the established posture recognition database. 

Key Words: Kinect;deep-data processing;skeleton;gesture recognition

目 录

摘 要 I

Abstract II

第一章 绪论 1

1.1 课题的背景及其意义 1

1.2 课题内容 2

1.3 论文结构 2

第二章 研究现状与发展趋势 4

2.1 国内外Kinect相关研究现状 4

2.2 人体姿态识别相关研究 5

2.3 基于Kinect的人体姿态识别的相关研究 5

第三章 Kinect开发平台 7

3.1 Kinect简介 7

3.2 深度图像获取技术 8

3.3 骨骼跟踪技术 8

3.4 Kinect SDK以及开发前的准备 9

3.5 骨骼数据获取与分析 11

3.6 本章小结 14

第四章 基于骨骼信息的特征提取 15

4.1 Kinect姿态识别技术路线 15

4.2 骨骼数据特征提取的不变性 16

4.3 特征提取技术 17

4.4 特征评估实验与分析 20

4.4.1 实验者与实验设备 20

4.4.2 实验程序开发环境 20

4.4.3 实验过程与实验结果 21

4.5 本章小结 23

第五章 静态姿势识别方法的研究 24

5.1 日常生活中静态姿势调查 24

5.2 静态姿态识别系统的设计与实现 25

5.2.1 系统的逻辑架构以及模块流程图 25

5.2.2 代码的编译和系统的实现 26

5.3 本章小结 36

第六章 总结与展望 37

参考文献 39

致谢 41

第一章 绪论

1.1 课题背景及其意义

微软公司在2009年的E3大展会上，正式公布了Kinect，并将其应用于建立在XBOX 360主机的周边智能设备。具体来说，Kinect不仅可以从硬件，还可以应用软件的开发进行体感的交互和控制[1]。其自带的多个多功能摄像头和麦克风可以完成静态人物和动态姿势的捕获、语音命令的控制，这样使用者就可以完全摆脱遥控设备或任何硬件输入设备来操控它，取而代之地去使用身体语言和语音命令来进行XBOX360主机系统的操控[2]。更具想象力的是，这样就可以通过Kinect捕获的肢体信息或者声音信息，利用其独特的动态捕捉技术提取到的人物三维坐标信息，用体感来参与游戏的控制，跨入全新的无硬件控制器的操控娱乐和游戏体验[3]。由于Kinect可以通过特有的深度摄像机非常轻松地获得目标所在空间的各个维度信息，有不少的学者将Kinect的这些强大技术应用于机器人的智能系统中，例如无人操控的导航和自主避开障碍物。从Kinect全新的体感设备开始，开启了一种十分创新的人机交互模式[4]，并且对于人物的处理技术也开始逐渐升级，如图1-1所示。

请支付后下载全文，论文总字数：28136字