摘 要

视频监控中运动人体行为分析是计算机视觉领域中重要的研究方向，通过利用计算机视觉技术对视频内容分析达到对人体运动行为进行智能检测的目的，这样可以将监控视频中大量对安全无用的信息过滤掉，节省了大量的人力，并解决了传统监控系统的事后性问题。本文利用深度学习卷积神经网络，结合图像处理技术进行人体识别，可以得到较高的检测率。本文主要内容是实现图像预处理、特征提取和人体识别。在图像预处理阶段，包括建立颜色空间、去噪、边缘检测等步骤；在利用R-CNN算法提取出人体特征，将提取出的特征送到SVM分类器中训练；然后利用QT开发框架和OpenCV视觉库上完成人体的识别，可以得到较高的准确率。

关键字 ：深度学习 卷积神经网络 OpenCV 人体识别

abstract

Human movement behavior analysis in video monitoring is an important research direction in the field of computer vision, by using computer vision technology for video content analysis of human movement behavior for the purpose of the intelligent detection, this can be a lot of security will monitor video filter out the useless information, save a lot of manpower, and resolves the problem of traditional monitoring system nachtraglichkeit.In this paper, a high detection rate can be obtained by using deep learning convolutional neural network and image processing technology for human body recognition.The main contents of this paper are image preprocessing, feature extraction and human body recognition.In the image preprocessing stage, including the establishment of color space, denoising, edge detection and other steps;R-cnn algorithm was used to extract human features and the extracted features were sent to SVM classifier for training.Then QT development framework and OpenCV visual library can be used to complete the human body recognition, which can get a high accuracy rate.

Keywords ：deep learning; convolution neural network; OpenCV;

human recognition

目 录

第一章 绪论 1

1.1 研究背景及意义 1

1.2 基于OpenCV的运动人体行为分析的难点 1

1.2.1 图像预处理的问题 1

1.2.2 人体特征提取的问题 2

1.2.3 人体行为类型识别的问题 2

1.3 研究现状 2

1.3.1 人体检测技术 2

1.3.2 人体跟踪技术 3

1.3.3 行为分析技术 3

1.4 研究内容安排 4

第二章 图像预处理 5

2.1 图像颜色空间 5

2.2 边缘检测算法 5

2.3 图像去噪 7

第三章 特征提取算法 8

3.1 卷积神经网络 8

3.1.1 卷积层 8

3.1.2 池化层 9

3.1.3 全连接层 10

3.2 R-CNN算法 11

3.3 运动人体特征选取 13

第四章 人体识别算法 14

4.1 支持向量机SVM 14

4.1.1 基本模型 14

4.1.2 模型求解 15

4.1.3 核函数 15

4.2 算法流程 16

第五章 仿真结果与分析 18

5.1 OpenCV平台 18

5.2 检测步骤 18

5.3 仿真实验 19

第六章 总结与展望 22

6.1 总结 22

6.2 展望 22

参考文献 23

致谢 25

第一章 绪论

1.1 研究背景及意义

视觉是人类观察世界及学习知识的最重要的途径之一，并且据研究表明，人类从外界所获得的信息中有大约80%的内容来自视觉。随着社会的发展，人类进入信息大爆炸的时代，随之而来的需要处理的视觉信息也是急剧增长，我们希望能有一个工具辅助甚至代替人类的双眼去应对迅速增长的视觉信息。随着计算机硬件和视觉技术的日益成熟，使得人们的期望得以实现。如今计算机视觉已经运用于居民生活、军事等领域，这样减少了简单而又繁多的工作降低了人们的工作强度，使人们更能专注于创新工作。

对基于OpenCV^[5]的运动人体行为分析的研究具有重要的学术意义。该研究涉及模式识别、计算机视觉、图像处理等学科，对计算机的智能视觉能力的提高具有重要意义。除了重要的学术意义外，对人体行为分析的研究还具有广阔的应用前景。智能视频监控是运动人体行为分析运用的一个重要方向。智能视频监控指的是在传统的视频监控下引入计算机视觉技术、模式识别和人工智能技术，在无人干预的条件下对感兴趣的目标进行标识和跟踪，然后对其行为分析判断，若判断其行为异常则发出警告，从而实现了监控系统的自主监控。从应用上看，智能视频监控都被广泛的应用在各个行业。起先，智能视频监控是在美国911事件伦敦大爆炸案等一系列突发事件后得到充分重视的。在国内方面，2008年北京奥运会上，基于对安全考虑，北京也在各个奥运场馆、机场、地铁、各重要街道都安装了视频监控。到目前为止，智能视频监控也是用在对安全或机密需求较高的场所。

1.2 基于OpenCV的运动人体行为分析的难点

1.2.1 图像预处理的问题

数字图像在生活中应用非常广泛，但是通常而言这些图像或多或少受到噪声的影响，在较为复杂图像受到噪声的影响更甚，而噪声可能会影响到图像压缩或传输失败。因此，图像去噪是图像预处理的首要问题。在计算机中，若想将图像传输到计算机进行分析，首先是要将图像转换成数据的形式描述，这是图像预处理的第二个问题。第三个问题是边缘信息的检测，图像的边缘包括了图像轮廓等信息。

1.2.2 人体特征提取的问题

特征提取是基于OpenCV的运动人体行为分析研究的一个尤为关键的过程。一般而言，图像视频需要处理的工作量较大，直接用原始图像视频数据进行行为分析非常困难。如果先进行特征提取既能有效降低工作量，又能保留对行为分析有用的关键信息而舍弃无用的信息，对提高行为分类结果的准确率至关重要。但是哪种人体特征的选择才能保证最终提取结果满足本研究需要，是本研究需要处理的一个难题。

1.2.3 人体行为类型识别的问题

行为识别是基于OpenCV的运动人体行为分析研究的一个尤为关键的过程。以计算机具备识别人体行为的能力是该过程的真实目的，为了使计算机认识出不同行为的能力。在现实生活中，为了让计算机拥有这样的识别人体的能力，基本都会给出该行为的实例样本让计算机来不断了解其行为方式，分类问题就是将需要检测的人体行为与训练后的行为方式进行对比匹配，其关键问题是采用哪种分类方式来检测人体行为，使得分类结果符合训练后的行为模式。

1.3 研究现状

一般而言，运动人体行为分析可以分成三个部分它们分别是：人体检测，人体跟踪，行为分析。其中前两步属于计算机视觉的中低级部分，最后一步属于计算机视觉的高级部分。但是在实际应用中，这三部分也不是互不相关的。人体检测和跟踪技术是人体行为分析的低级部分。精准的人体检测和人体跟踪结果可以对人体行为分析有很大的好处。下面就对这三部分的研究现状进行简要分析总结。

1.3.1 人体检测技术

人体检测是在视频帧中将人体从背景中精准的检测出来，得到目标的整体区域或者轮廓，是人体跟踪和行为分析的基础。经过前人的多年研究，人体检测领域己经硕果累累，构成了几种常见的方法大类。可以将人体检测技术分为两大类别:第一类为基于图像的方法，第二类为基于视频的方法。这里基于图像的方法，是通过提取图像中的人体特征，设计训练相应的分类器实现人体检测。第二类是基于视频的方法，指的是基于图像序列或视频中的运动信息实现人体的检测，例如帧间差法，背景减法等。第二类人体检测方法利用了不同视频帧之间的像素值的不同来实现人体的检测，运算速度较快计算复杂度较低。但是，对于目标长时间没有明显运动等情况下，这类算法的检测精度会明显下降。第一类方法直接对图像中目标的特征进行提取，通过训练分类器，实现对图像中人体的定位。该类方法既可以应用于图像序列，也可以用于单帧图像，不受目标长时间没有明显运动等情况的影响。但是，由于该类方法由于需要在图像中进行全局搜索，因此运算速度较慢计算复杂度较高

1.3.2 人体跟踪技术

人体跟踪是为确定人体在每帧图像中具体位置，从而得到运动目标的时序运动轨迹，根据目标的表达方式不同，跟踪可以分为基于区域的跟踪、基于模型的跟踪和基于特征的跟踪等方法。基于区域的跟踪是需要人为预先获得人体模板或者图像分割，再使用相关跟踪算法对人体进行跟踪。当目标模板略大于目标矩形且相对固定，对于目标未遮挡且目标变形较小时，可以实现精准的跟踪。但若目标一旦发生形变，会使跟踪准度大大下降。基于模型的跟踪是有一定的经验知识后再对跟踪的人体进行建模，通过人体跟踪配对并对模型进行实时更新。对于刚性目标，几何模型建立较易，有很强的抗干扰能力。但是对于非刚性目标，几何模型建立较难，并且该方法模型更新困难，运算速度很慢。基于特征的跟踪，并不是考虑运动目标的全部特征，而是采用目标的明显且容易提取的特征作为特征集合来进行追踪，大大减少了计算工作量。常用的特征包括颜色、质心、边缘等。并且，在与特定滤波器一起使用时，有不错的跟踪效果，但是抵抗噪声的能力较弱。

1.3.3 行为分析技术

行为分析即对人体行为的理解与识别，是在人体检测和人体跟踪的基础上，用高效的识别算法对人体行为进行分析，并用合适的语言加以描述。基于模板匹配方法、基于状态空间模型法^[3]是目前比较流行两类行为分析方法的大类。基于模板匹配方法是将人体的各种行为样本用事先归纳的N元特征组作为一个模板，然后将需要分析场景中的视频图像帧与归纳好的模板进行对比，得出识别结果。这类方法优点是对静态目标的简单行为有不错的分辨率，但是模板建立复杂。基于空间模型法是用一个状态对应人体的一个静态动作，同时各个静态动作状态可以通过特定的概率联系在一起。人体每次表现的行为就是遍历各个静态动作对应状态的过程。通过分析遍历过程的联合概率，并将最大值作为行为识别的标准。隐马尔科夫模型是状态模型最具有代表性的例子，被广泛应用于时序的预测。虽然该方法能够克服模板匹配的缺点，但是计算量太过庞大，在实际生活中难以广泛的应用。

1.4 研究内容安排

第一章 本章阐述了运动人体行为分析这一课题的研究背景和意义，同时介绍了相关技术的国内外研究现状，最后介绍本文研究内容和章节结构安排。

第二章 本章解决本研究的第一个难点，即设计出视频图像的预处理算法，包括建立颜色空间、边缘检测和去噪。