摘 要

作为计算机视觉领域中的一个重要研究热点，运动人体行为分析研究技术旨在分析人体的行为信息，在智能监控、人机交互等领域有着巨大的发展前景。在运动目标检测领域，由于双目视觉技术有模拟人眼的能力，在获取运动目标的位置信息有着巨大的优势，该技术得到了深入的研究。本文基于双目视觉技术开展运动人体的行为识别分类工作，在此过程中解决遇到的问题和提出改进措施。

本文的研究内容主要分为两部分。第一部分是基于双目视觉的运动人体测距工作，首先对双目相机进行标定获取相机的内外参数，然后采用了背景差分法提取运动人体的轮廓信息，再利用SIFT特征匹配获取左右检测图像的视差并结合相机内外参数完成测距工作。第二部分是对运动人体进行行为识别分类，主要采用了HOG特征 SVM分类器的分类方法，先对样本数据集提取待识别动作的HOG特征，然后投入SVM分类器进行训练并识别，通过调整系统参数提高动作识别成功率。

关键词：双目视觉；运动目标检测；行为识别；SVM分类器

Abstract

Human action analysis technology is a hot topic in the field of computer vision, which aims to analyze the behavior information of the human and has great development prospects in the fields of intelligent monitoring and human-computer interaction. In the field of moving target detection, the binocular vision technology has been deeply studied which has a huge advantage in obtaining the position information of the moving target since it has the ability to simulate the human eyes. In this paper, there is conduct human action analysis base on binocular vision technology and propose some improvement measures when encounter problems.

This paper is mainly divided into two parts. The first part is measuring the distance between human and camera based on binocular vision. Firstly, the binocular camera is calibrated to obtain the internal and external parameters of the camera. Secondly, there is used the background difference method to extract the contour information of the moving human, and then matching the SIFT features of the left and right detection images to obtain parallax. Finally, the parallax is combined with the camera's internal and external parameters to complete the distance. The second part is the classification and analysis of human action. It mainly adopts the classification method of HOG feature and SVM classifier. Firstly, there is extracted the HOG feature of the action from the sample data set and training the SVM classifier. Then put samples into the SVM classifier for recognition and improve the success rate of motion recognition by adjust the system parameters.

Key Words: binocular vision; moving target detection; behavior recognition; SVM classifier

目 录

第1章 绪论 1

1.1 研究背景及意义 1

1.2 国内外研究现状 1

1.3 研究的难点 2

1.4 研究内容及工作安排 2

第2章 基于双目视觉的运动人体行为分析方案设计 4

2.1 整体方案介绍 4

2.2 运动目标距离信息获取方案设计 5

2.3 运动人体行为分析方案设计 6

第3章 基于双目视觉的运动人体三维信息获取 7

3.1 双目相机标定 7

3.1.1 相机标定坐标系建立 7

3.1.2 双目相机标定实验结果 8

3.2 运动人体轮廓信息检测 10

3.2.1 图像预处理 10

3.2.2 背景差分法实现步骤及识别结果分析 10

3.2.3 Sobel算子边缘检测结果 11

3.3 基于SIFT特征匹配的三维信息获取 13

3.3.1 SIFT特征提取 13

3.3.2 视差获取及测距结果分析 14

3.4 本章工作总结 16

第4章 基于SVM的运动人体行为分析 17

4.1 SVM分类器搭建 17

4.1.1 二分类问题 17

4.1.2 多分类问题 19

4.2 HOG特征提取 20

4.3 人体行为识别实验结果及分析 21

4.3.1 训练样本数据库搭建 21

4.3.2 动作识别分类实验结果统计分析 22

4.4 本章工作总结 25

第5章 本文工作总结 26

参考文献 27

致 谢 29

第1章 绪论

1.1 研究背景及意义

人体行为分析技术是计算机视觉领域的一个热门研究方向，该技术利用相机、计算机等现代设备对空间中人体的行为动作进行捕获，接着进行信息化处理，完成对人体行为动作客观分析的研究技术。人体行为分析技术发展了近40年，但仍然是一门年轻的学科，还有待研究人员进行深入发掘与探讨，该技术在智能监控、人机交互、运动分析、虚拟现实^[1]等领域都有巨大的应用前景。例如，在人类社会中的许多场所都需要视频监控，但传统的设备只能进行普通的拍摄并存储视频画面，当有突发事件时，只能由工作人员查看并调取所需视频画面，效率低下，不能及时解决问题。而理想的视频监控形式是监控设备能够实时发现画面中的突发事件，并将信息及时反馈给工作人员，第一时间采取有力措施来避免损失。又比如在体育运动中应用人体行为分析技术进行运动分析，以获取各项数据，能够辅助运动员提高竞技水平。人体行为分析技术在此过程中发挥的作用就得到了体现。

人体行为分析技术的研究涉及大量学科，是各门学科的综合体，这项研究既复杂又庞大，同时也具有很广阔的应用空间。人体行为分析技术的研究核心包括运动目标的检测、运动目标特征提取、运动目标动作识别分类等等，每一个核心都历经了长足的发展，并取得了一定的研究成果，但仍有很大的进步空间，有待研究人员对各项技术进行完善。

随着人类社会的高速发展，科技也在不断进步，人类越来越向往智能化、现代化的生活，对此有着巨大作用的人体行为分析技术的位置随之改变。人体行为分析技术在经济发展和科学研究中都有着巨大的潜在价值，因此，研究人体行为分析技术是一项很有意义的工作。

1.2 国内外研究现状

国外的人体行为分析技术的研究始于1973年，Johansson^[2]进行了人体运动感知实验，开启了对人体行为分析的最早研究，从此开始了科学家对人体行为分析技术的探讨。在研究早期，由于采集设备功能的限制，采集到的数据精度不足，很难提取到精细的局部信息，因此早期的人体行为分析主要是基于全局特征进行的。1992年，Yamat^[3]等对人体行为识别进行了研究，其使用自底向上的方法，采用网格特征作为底层描述符，结合HMMs模型表示行为序列中的时间信息。2001年，Carlsson^[4]等将视频中的关键帧与保存的动作相匹配来完成动作识别。2004年， Schuldt^[5]等将支持向量机应用到人体动作识别上。2006年，Moeslund^[6]等对人体行为做了进一步研究，将人体行为动作基元、动作和行为三个不同的层次。此外，国外的众多高校诸如美国马里兰大学，英国雷丁大学^[7]等都在该领域内开展了大量研究，并取得了一定研究成果。

国内对人体行为分析的研究起步较晚，相关技术成果与国际上先进水平仍有一定差距，但仍然涌现了众多研究成果。国内已经在部分领域运用了人体行为识别技术，比如2008年，北京奥运会会场内外就部署了人体识别的安防系统，以防范意外事件发生^[8]。国内众多高校和研究机构纷纷建立了研究所和工作室，并在人体行为识别领域中进行了大量的研究工作，中国科学院计算技术研究所^[9]等都在这一领域中取得了一定的研究成果，武汉大学、南京大学等在定位和跟踪目标三维行为的研究中取的了不错的成绩。

1.3 研究的难点

人体行为分析技术经过多年长足的发展，但仍无法广泛应用于生活中，在研究中还存在着众多有待解决的问题。基于双目视觉的人体行为分析技术主要由三部分组成，包括运动目标检测、运动目标行为特征提取和运动目标行为分类识别，在各部分都存在着许多亟待解决的难点。

在运动目标检测方面，由于检测场景多种多样，复杂的场景会导致运动目标检测难度提高，比如不同的光照强度带来的阴影会影响运动人体的准确检测。此外，在检测过程中往往会遇到遮挡问题，会导致对运动目标进行不完整检测，影响到最后的检测结果。

在运动目标行为特征提取方面，由于运动目标的行为是具有多样性的，并且是不具有周期性和规律性的，这就给提取运动特征带来了巨大的困难。不同的场景中，不同的人在不同的时间节点所表达的动作不尽相同，这就要求在选取运动特征时需要兼顾考虑信息完整性和鲁棒性，保证准确识别出具有细微差别的动作信息，这在研究中是有很大难度的。

在运动目标行为分类识别方面，由于人体行为具有非刚特性，不同人体的身高、习惯或者是外在衣着的不同，可能会导致把相同的动作判别为不同的动作，或是把不同的动作判别为同一动作，导致识别错误。再就是人体动作种类众多，其中不乏复杂的动作种类，在目前的研究中无法做到对所有的动作进行识别，只能做到对典型的动作识别分类，提高动作种类识别数量也是目前研究中需要解决的问题。

1.4 研究内容及工作安排

本文主要安排了以下五章内容：

第1章：绪论。针对该课题介绍了领域内的研究背景及意义，根据近年来的发展历程分析了国内外的研究现状，并简述了该研究目前尚未解决的难点，最后对本文的工作进行了安排。

第2章：基于双目视觉的运动人体行为分析方案设计。这章是对本文的实验方案进行整体介绍，并分别对两个主要的实验模块的原理进行分析。

第3章：基于双目视觉的运动人体三维信息获取。这章目的是获取运动目标的三维距离信息。首先对双目相机进行标定以获取相机的内外参数，然后利用背景差分法和Sobel算子提取运动人体的边缘轮廓信息，最后利用SIFT特征匹配获取视差并计算运动目标的三维距离信息。

第4章：基于SVM的运动人体行为分析。首先介绍SVM分类器的基本结构，然后在双目视觉系统的下采用HOG特征点结合SVM分类器的行为识别算法完成对人体运动行为进行分类识别，通过调整系统参数，提高识别成功率。

第5章：本文工作总结。总结本课题的工作内容，对工作中的尚存在的欠缺进行简单说明，期待更好的改进与发展。

第2章 基于双目视觉的运动人体行为分析方案设计

2.1 整体方案介绍

经过研究人员几十年的努力，人体行为分析技术已经取的了一定的成果，但该领域仍然是一个热门研究方向。本文提出了一种基于运动目标距离信息的运动人体行为分析技术，主要工作是对运动人体进行检测以获取距离信息，并对检测目标完成动作识别分类工作。方案实现的流程图如图2.1所示。

图2.1 整体方案流程图

如图2.1所示，整个实现方案主要分为两个模块，分别为对运动人体的测距工作和动作识别分类工作。第一模块是基于双目视觉系统的运动人体测距工作，双目视觉系统的结构使它拥有能够轻松获取目标左右图像视差的优势，在此基础之上结合相机自身的内外参数和相机成像的相似三角形原理可以计算得出目标物体的三维位置信息。第二模块是采用HOG特征 SVM分类器的人体动作识别分类算法对运动人体进行动作识别分类，人体在做同一动作时在外形表现上大体是一致的，这样对做同一动作的不同人体提取的HOG特征是类似的，而SVM分类器能够将具有不同特征的两类物体进行分类，对人体动作提取的HOG特征与对其他物体提取的HOG特征是不同的，因此这就为HOG特征 SVM分类器对人体行为进行识别分类提供了理论基础。在完成了运动目标的测距工作和动作识别分类工作后，将两部分工作的结果结合起来建立联系，使整个工作更加系统可靠。

2.2 运动目标距离信息获取方案设计

与单目视觉系统不同，双目视觉系统可以同时获取两张运动目标的图像，通过计算左右图像同一空间点的视差，结合双目视觉系统的特点而得到运动目标的三维信息。下面给出双目视觉系统测距的基本模型^[10][11]，如图2.2所示：

图2.2 双目视觉系统基本模型

图2.2中，P点为世界坐标系中的目标物体，O₁和O₂分别为双目视觉系统左右相机的光心，T为左右相机光心O₁和O₂之间的距离，X₁和X₂分别为P点在左右相机O₁、O₂的成像点，f为左右相机的焦距，Z为P点到左右相机平面的实际距离。本章的主要目的是获取距离Z，结合图2.2中的双目相机模型，由相似三角形公式计算可得：

(2.1)

化简可得：

(2.2)

式（2.2）中，用D代替（X₁-X₂），D称为左右相机成像的视差，单位是mm。从式（2.2）可以看出，目标物体P到左右相机平面的距离Z由左右相机成像的视差D、相机的焦距f和左右相机的光心距离T决定，其中相机光心距离T在实验中是已知的固定参数。因此，为了获取目标物体与相机之间的距离信息，需要获得相机的焦距f和左右图像的视差D，其中相机焦距f可以通过对双目相机标定进行获取，左右图像视差D可采用基于SIFT特征点的匹配算法计算获得。

根据双目测距原理，本文进行双目测距工作的流程图如图2.3所示：

图2.3 双目测距方案流程图

如图2.3，本方案基于双目视觉系统，首先采用张正友标定法对双目相机进行标定以获取双目相机的内外参数矩阵，然后利用背景差分法检测运动目标轮廓区域，在检测结果中提取运动目标的SIFT特征点进行匹配并计算左右图像的视差，将得到的视差与相机的内参数焦距f相结合，根据相机成像的相似三角形原理即可计算出运动目标的三维距离信息。

2.3 运动人体行为分析方案设计

在常用的人体动作识别算法中，HOG特征 SVM分类器的算法是一个经典的并具有较高精准度的算法，本文在双目相机采集的样本基础之上，采用这种算法作为本文的动作识别分类算法，具体工作流程图如图2.4所示。

图2.4 行为分析方案流程图

如图2.4所示，本方案采用HOG特征 SVM分类器的算法，首先在VS2013 OpenCV2.4.9平台上搭建SVM分类器，然后提取训练样本数据集的HOG特征并投入SVM分类器中训练，训练完成得到的SVM分类器可以识别分类特定的动作，然后将待识别样本投入到训练好的SVM分类器中国进行识别分类，最后统计并分析分类结果。本文将实验中自建样本数据库的分类结果与网上公开的UIUC人体行为数据库的分类结果进行比较分析，得出最终结论。

第3章 基于双目视觉的运动人体三维信息获取

根据双目测距方案，本章主要分为三个步骤，首先获取双目相机的焦距f，此过程需要对双目相机进行标定，然后检测运动人体的轮廓信息，提取运动人体的位置，最后在检测到的人体轮廓信息的基础之上进行SIFT特征匹配获取视差并结合相机焦距f计算得出运动人体与双目相机之间的距离信息。

3.1 双目相机标定

要精确获取运动目标物体的准确位置、大小和形状等信息，需要明确目标物体三维空间点与图像像素点之间的关系，在此过程中，对相机进行标定的工作就显得尤为重要。本文是利用双目相机获取人体的位置、动作等信息，在此基础之上进行运动人体行为分析等工作，因此双目相机的标定是本章的第一步工作内容。

3.1.1 相机标定坐标系建立

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：