摘 要

目标跟踪(object tracking)相对于数字信号处理这个领域来说，属于被重点研究对象，可被广泛应用于生活诸多场景中，例如视频监控，或是针对异常行为进行序列识别等技术。此文所提到的针对多目标所进行的跟踪方法是一种可适用于大多常见场景中的跟踪方法，即针对公共场所中的多个摄像头所进行的视频监控场景。相对于这种应用环境，即多个摄像头拍摄某一个目标区域。本文所解决的问题就是解决这类应用环境下的针对于多目标进行跟踪，从而有一套针对于此的系统。为解决这一问题，本文将从以下几方面进行研究：

1. 对相关数据进行预处理。未达到提高针对目标所进行的跟踪以及检测的精准度，本文做了大量的针对于相关数据而进行的预处理工作。例如，对图像的背景进行差分，校正图像颜色，继而进行目标检测。
2. 目标检测，在本文是所使用的是基于 Deformable Part Model 的检测方法去训练检测器，而后进行检测。
3. 获取单一视角的跟踪结果。相对于单个视角，本文通过结构化从而保持着对于多目标所使用的跟踪算法，继而对于检测结果进行连接，最终对于所跟踪的序列进行获取。然而实际环境中，存在很多外在因素，导致一个跟踪目标会有多个跟踪序列进行相对应，若要达到跟踪相对于较稳重，就需要融合单个视角所得出的跟踪结果。
4. 融合针对于跨视角了的跟踪结果。对于跨视角的每个视角，所获取到的跟踪结果均为相对独立的，因此导致了同一个目标出现在不同视角中，也将有不同的标号进行相对应。为统一同一目标的标号，就需要融合这些跨视角所获取的跟踪结果。由此，为对应不同的使用环境，本文着重研究了以下两种方法，其一是针对于特征进行比较，其二是针对于空间进行对齐处理。

本文针对多摄像头、多视角下的目标进行跟踪这一技术列出了一套框架来解决，完成了获取相对于单视角而进行的多目标跟踪所得出的结果进行融合以及对跨视角所得出的跟踪结果同样进行了融合等问题，由此并取得了较好的跟踪结果。

关键词：多视角；多目标跟踪；目标检测；摄像机标定

Abstract

Object tracking is a research hotspot in the field of computer vision. It can be applied to many aspects of life, such as video surveillance and abnormal behavior detection. I design a multiple objects tracking system in multiple cameras network in this paper. This system is based on a common application scenarios in real life, that is the multiple cameras surveillance scene in public place. How to design a multiple object tracking system in this application scene is the most important problem in this article.

In order to design a multiple objects tracking system in multiple cameras network, the job of this paper can be divided in the following aspects.

1. Data preprocessing. In order to increase the accuracy of object detection and tracking, I have many works in data preprocessing, such as background subtraction and color correlation.

2. Object detection In order to find the initial positions of object tracking automatic, we need to use object detection method. In this paper, we use the deformable part model algorithm to train a detector, the then use the detector to do object detection.

3. Getting tracklets in one camera view. In single camera view, using structure preserving algorithm to connect detection results, and then I can get the tracklets. Because of the illumination variation and gesture variation, an object may have a few tracklets. In order to get a stable tracklet for one object, I need to associate the tracklet in a single camera view.

4. Tracklets association in different camera views. In every camera view, the tracklets are generated independently, so an object may have different ID in different camera views. In order to uniform the ID, I need to associate the tracklets in different camera views. Here, I use two different association strategies, they are feature comparison the camera calibration methods,. These two methods correspond to two different scenes.

In this paper, I propose an integrated solution framework in the multiple objects detection problem in multiple camera views. Have solved the multiple objects tracking problem in camera view and the tracking results association problem in different camera views, and then get an ideal result.

Key Words: Multiple views, Multiple objects tracking, Object detection, Camera calibration

目 录

第1章 绪论 1

1.1 课题来源及研究的目的和意义 1

1.2 摄像机标定技术国内外研究现状 1

1.3本文主要研究内容 2

第2章 运动目标检测 4

2.1 概述 4

2.2运动目标检测算法介绍 5

2.2.1 光流法 5

2.2.2 帧差法 6

2.3背景差分法 7

2.3.1 背景差分法概述 7

2.3.2 算法的步骤 7

2.3.3 算法的优缺点 7

2.3.4背景差分法基本原理 7

2.3.5 常用的背景建模方法 8

2.3.6 实验结果 9

2.4本章小结 11

第3章 基于卡尔曼滤波器的目标跟踪 12

3.1卡尔曼滤波器的简介 12

3.2应用前提 12

3.3卡尔曼滤波器原理 13

3.4基于卡尔曼滤波的目标跟踪 15

3.5本章小结 16

第4章 多摄像机下运动目标匹配与交接 18

4.1 概述 18

4.1.1多摄像头网络中的分布式处理 19

4.1.2 多摄像头的标定和拓扑结构 21

4.2 几种交接算法的基本介绍 21

4.2.1基于特征融合的目标交接算法 22

4.2.2基于三维信息的目标交接算法 22

4.2.3基于队列的目标交接算法 22

4.2.4基于视野分界线的目标交接算法 22

4.2.5基于单应矩阵的目标交接算法 22

4.3基于单应矩阵的目标交接的实现 24

4.4本章小结 27

第5章 总结与展望 28

5.1总结 28

5.2展望 28

致谢 31

第1章 绪论

1.1 课题来源及研究的目的和意义

在多媒体、计算机技术快速发展的同时，以计算机为基础的视觉技术同样获得了显著进步，研究人员提出了许多有关目标的检测与跟踪及相关方面的算法^[1]。在这一领域之中，智能视频监控系统日益成为探究热点，他的目标就是在没有人工干预的情况下，自动对视频进行分析并作出反应。其中，多个摄像头融合追踪属于其中极为关键的构成部分。

多摄像头融合跟踪的意义在于可以解决以下问题：①获取更广范围监控，在多点监控的很多效果中最直接就是将系统的监控范围扩大；②加强监控系统中的跟踪水平，让监控具备智能化的特征，以智能摄像机对图像的分析信息进行系统当中其他摄像头的调度为依据，如何管理监控系统中的各个智能摄像头之间的信息交互、协作、共享是智能视频监控中的重要研究课题。

1.2 摄像机标定技术国内外研究现状

目前已经有许多关于使用多元摄像头跟踪的研究，也有诸多监控系统可对室外、室内人的活动进行监控、检测，由此即可划分出两类监控系统，即针对多摄像头、单摄像头均有独立的监控系统。就前者而言，结构可划分为两部分，即分布式、集中式。假如能灵活运用结合集中式方法，整合数据这项操作将需要在中央服务器上完成，若此时增加摄像头时，往往可能导致通信等方面的瓶颈。所以，分布式方法运用更多。若要完成检测运动目标、甚至进行跟踪以及分类的话，就可以在单摄像头这项系统中完成。相对于中央服务器这层结构而言，系统需使用由单摄像头监控系统所得出的跟踪结果，然后通过这个结果来创建一个通信，这个通信是基于由一个给定的目标出现在不同视野内，进而协同多摄像头系统进行所需完成的监控任务。

目标跟踪系统在物体移动分析、视频监控、物体识别等数字图像方面有着很广泛的应用，但是构建出一个全自动的目标跟踪系统依然是一个困难程度很高的问题。从国内外的数字图像处理、模式识别的类似领域的很多主流期刊的研究动态可以发现，目标跟踪一直是备受关注并且处于活跃状态的研究方向，来自各个国家的学者、科研人员，正在通过自己的努力研究来解决科研上遇到的很多难题，随之出现了一大批很宝贵的科研成果。

2012年8月份，哈尔滨工业大学在成功研制出服务于短道速滑运动项目的多目标跟踪系统之后，再次研制出了一个智能的前卫的监控系统^[2]，此系统的功能包括关于视频的杂讯清除，视讯稳定，烟雾及火焰的监控，人数流量计测等等强大功能。

Michael D. Breitenstein 等人^[3]通过融合粒子滤波和检测器置信度的方法来实现稳定的多目标跟踪。Chang Huang 等人^[4]则利用检测结果分层级联的方法来实现多目标的跟踪。William Brendel 等人^[5]证明，可以把关于数据关联的问题认定成寻找图的最大权独立集问题，并通过迭代的方法，将跟踪的短轨迹连接成更长的轨迹，继而解决了长程遮挡问题。另外，基于网络流和全局优化^[6]以及连续能量最小化的方法也被用来解决多目标跟踪问题，但这种全局的方法往往比较耗时，不适合对时效性要求比较高的应用^[7]。

近年来，国外的伦敦大学，哥伦比亚大学，麻省理工大学和国内的哈尔滨工业大学，清华大学，中国科学院计算所，浙江大学，华中科技大学，北京航空航天大学，上海交通大学以及众多科研机构和高校均在本领域展开了相当深入的研究，国外学者Alahi A, Marimon D, Bierlaire M参考了无线传感器网络的架构，创新性地提出了一种以主从式为架构的多摄像头调度算法^[8]。Song B, Soto C, Roy-Chowdhury A K设计出了一种基于博弈论的多摄像头调度框架^[9]。在取得了非常理想的成果，为以后的研究奠定了理论基础的同时。我们还需要再接再厉，还需要广大学者们，发扬创新精神，为我国的科研道路继续增光添彩！

1.3本文主要研究内容

本文目标是实现多源摄像头融合与跟踪系统，运用了背景差分法和卡尔曼滤波等原理等理论知识，分为司长介绍了我研究的过程和成果，下文我将分章节介绍一下。

第二章主要有运动目标检测算法的介绍以及本文用到的运动目标检测的方法——背景差分法，其中，本章简介了两种运动目标检测算法，也就是下文中将被提到的光流法和帧差法。同时还重点介绍了另一种检测算法——背景差分法。本章介绍了背景差分法的算法步骤、优缺点、基本原理以及常用的背景建模方法，并展示了实验结果。