摘 要

近年来，随着电子技术和视频图像处理技术的进步，将二者完美结合起来的智能视频监控在越来越多的行业得到广泛的应用。在视频监控技术中，多移动目标的检测是最关键的一环。对视频中移动目标的检测，是数字视频图像处理的一个重要研究领域，在机器视觉、车辆检测、人机交互、目标识别和跟踪等领域都有着十分重要的地位。因此，对移动目标实现快速、准确、有效的检测有着非常重要的价值和意义。 在此背景下，科研工作者提出了许多移动目标检测的算法，比较流行的目标检测算法有三种：帧间差分法、背景差分法和光流法。目前，这三种算法研究已经逐步成熟，很多都在PC机上软件实现，并且取得了良好的效果。但基于PC机的视频监控系统成本高，在一些布线困难的特殊场合使用也受到限制。针对这一情况，科研人员希望能用嵌入式的设计方案解决这个问题。 随着超大规模集成电路的发展，特别是千万门级别FPGA(Field Programmable GateArray,现场可编程逻辑门阵列)芯片的出现，其丰富的逻辑资源和高速的运算能力，特别适用于视频图像处理这样大规模数据的存储和运算。FPGA的出现，为智能视频监控行业的发展带来了新的春天。 本文以FPGA为核心处理器，设计出一个在复杂静态背景下进行多移动目标的实时检测与跟踪的系统。系统在检测跟踪到移动目标时能够及时报警，论文对系统硬件平台的搭建和软件算法的实现过程都做了详细的论述。系统实验表明，在复杂静态背景下，该系统能够实时检测移动目标，并能及时地跟踪目标。 系统的硬件平台主要包括视频采集模块、视频预处理模块、移动目标检测与跟踪模块、SDRAM存储模块、VGA显示模块、音频解码模块。视频采集模块负责从摄像头录入模拟视频，并将其转化为数字视频；视频的预处理模块负责将数字视频解码，并将其转化为RGB格式数据；移动目标检测与跟踪模块负责对视频中的移动目标进行检测与跟踪；SDRAM存储模块负责片外数据的缓存，用于视频解交织和背景差分法检测移动目标；VGA显示模块负责将视频的处理结果通过VGA接口在显示器上显示；音频解码模块负责在系统检测到移动目标时，产生报警信号，触发系统报警。通过各个模块协同工作，构建出一个基于FPGA视频图像处理的硬件平台，为下一步的开发研究提供了便利。 系统的硬件平台、以及在硬件平台上实现的背景差分法、跟踪算法和其他算法均用Verilog HDL硬件描述语言设计完成。系统在Quartus II9.0软件平台下开发，并在Modelsim SE6.4软件平台下完成仿真。与传统的基于PC机的视频监控系统相比，该系统的成本更低，后续设计更加灵活，更易于维护和升级。

关键词：FPGA，运动目标检测，视频监控

Abstrat

In recent years, with the progress of electronic technology and video image processing technology, will be the perfect combination of intelligent video surveillance has been widely used in more and more industry.In video monitoring technology, multiple moving targets detection is one of the most key ring.To detect moving targets in video, is an important research field of digital video image processing, in machine vision, vehicle detection, human-computer interaction, target recognition and tracking, and other fields has a very important position.Therefore, the moving targets to achieve rapid, accurate and effective detection has very important value and significance.Under this background, the researchers put forward a lot of moving target detection algorithm, there are three popular target detection algorithm: interframe difference method, background difference method and optical flow method.At present, the three algorithms has been gradually mature, many are realized in PC software, and achieved good effect.But the high cost of video monitoring system based on PC, in some special occasions wiring difficult use is restricted.In order to solve this situation, researchers hope to use the embedded design scheme to solve this problem.With the development of very large scale integrated circuit, level across the door especially the door in the tens of millions of FPGA (Field Programmable GateArray, Field Programmable logic gate array) chip, the logic of its abundant resources and high speed operation ability, especially suitable for video image processing such large-scale data storage and operation.The occurrence of FPGA, for the development of intelligent video surveillance industry has brought new spring.This paper takes the FPGA as the core processor, design a multiple moving targets under the complex background of static real-time detection and tracking system.System in the detection of trace to the moving target can timely alarm, papers on the building of the system hardware platform and software algorithm realization process is discussed in detail.System experiment showed that the complex static background, the system can real-time detect moving targets, and can track the target in a timely manner.System hardware platform mainly includes video acquisition module, a video pretreatment module, moving target detection and tracking module, SDRAM memory module, VGA display module, audio decoding module.Module is responsible for collecting video from a camera into the analog video, and convert it to digital video;Video preprocessing module is responsible for digital video decoding, and transformed into RGB format data;Moving target detection and tracking module is responsible for detecting and tracking moving targets in video;Outside the SDRAM memory module is responsible for the piece of data caching, interweave and background difference method is used for video solution to detect moving target;VGA display module is responsible for video processing results displayed on the monitor with VGA interface;Audio decoding module is responsible for the system to detect moving targets, the alarm signal, trigger the alarm system.Through the various modules to work together, build a video image processing based on FPGA hardware platform, the development of the research provides the convenience for the next step.System hardware platform, as well as on hardware platform to realize the background difference method, tracking algorithm and other algorithms are completed using Verilog HDL hardware description language design.System in the Quartus II9.0 software platform development, and in the Modelsim SE6.4 simulation software platform is complete.With the traditional video monitoring system based on PC, compared to the cost of the system is lower, the subsequent design more flexible and easier to maintain and upgrade.

Keywords:FPGA,moving target detection, video surveillance

第一章 绪论

1课题研究背景及意义

近年来，随着国民经济的快速增长，以及计算机网络、多媒体处理技术的飞速发展，视频监控技术也有长足的进步，监控系统在社会生活众多领域的应用也日渐广泛。人们生活水平、生活环境不断提高和改善的同时，人们对社会安全性的关注度与要求也不断提高，特别是由于近年来频发的公共安全事件，社会治安状况的日趋复杂，城市犯罪率上升。如何预防，打击危害社会安全行为，创建“和谐社会”成为全世界都关注的热点问题。视频监控作为一种有效预防安全问题的技术手段，其作用日益突出，视频监控系统在安全防范领域的运用越来越广泛。从二十世纪七十年代开始，视频监控技术已经发展了数十年。发展历程大致经历了三个阶段：一代模拟视频监控系统(CCTV)产生于二十世纪九十年代出之前，它属于闭路电视监控系统以模拟设备为主。第二代数字化本地视频监控系统产生于九十年代中期，它的基本构架是基于“PC 多媒体卡”数字视频监控系统(DVR)。第二代数字化视频监控系统的发展是随着九十年代中期不断提高的计算机运算能力以及图像视频处理技术而不断演进，它运用计算机高速处理数据的能力对视频数据进行采集，分析与处理，第二代数字化视频监控系统的图像处理、显示质量相较于第一代得到了显著的提高。第三代视频监控系统是基于IP网络视频监控系统(IPVS)，其发展基础是计算机能力的提高，存储容量和网络带宽的加大， 各种实用视频处理技术的出现。它以网络为依托，以数字视频的压缩、传输、存储和播放为核心，以智能高效的图像分析功能为特色。相较于传统的模拟监控相比，数字监控具有系统数据便于管理、维护，图像质量好，数据利用率高，监控效率高，适合远距离传输13J。传统的视频监控系统都是基于计算机网络的多媒体工作方式。以PC机为基础的多功能监控，设备占用空间大，消耗功率高，而且为了达到高速处理的要求，系统升级时需要较高昂的安装费用，因此在某些特定应用场合系统会暴露出体积大、成本高等缺点。大多将视频资料存储于录影带，存储空间需求大，而且还不方便查找和处理，这样的系统只能完成在时间序列上的视频存储记录，存储的数据仅能成为事后分析的证据。再者，当前所普遍使用的视频监控系统，缺乏对视频内容的智能分析、处理功能，而主要依靠人眼视觉，要求监控人员对监控信息做出判断，但是事实证明在面对多画面、长时问的工作中，一些人为原因如疲惫、粗心等无法专注于当前监控画面，并对突发状况做出及时正确地判断，不能在事前提供预警，这个时候视频监控实际已经失去了实时安全保障的作用。因此，具有低成本、小体积、高效率等特点且本身具有分析判断能力的独立式嵌入式智能视频监控系统成为研究的重点。所谓视频监控系统的智能化，是指在无人为干预情况下，利用计算机视觉和视频监控分析算法对摄像机所摄录的图像序列进行自主分析，包括目标检测、目标分割提取、目标识别、目标跟踪等以及对监视场景中目标行为的理解与描述，得出对图像内容含义的理解以及对客观场景的解释，从而指导和规划行动。其中，目标检测、目标分割提取、目标识别、目标跟踪属于计算机视觉中级处理部分，而行为理解和描述则属于高级处理14J。纵观目前采用的方案，除了有采用基于PC机的软件系统，也有采用基于嵌入式的监控系统，如DSP ARM构架的嵌入式监控系统，如达芬奇或者OMAP系列的系统，也有基于DSP FPGA的嵌入式系统。基于嵌入式技术的视频监控系统把监控摄像头、视频处理模块、显示控制器一体化，可置于现场进行视频图像处理。嵌入式监控系统优点是：软硬件结合紧密，功能专一，性能稳定；移动方便，便于安装和维护，易于实现模块化设计，便于管理和升级；系统体积小，成本、功耗低；无人为干预；系统实时性能优秀，检测结果准确性高。目前大多数基于嵌入式技术的数字视频监控系统都是基于ARM或者DSP平台。ARM系统上带有操作系统，产品开发周期短，容易面市。缺点就在于设计不灵活、升级困难。而基于DSP的系统，虽然其硬件优化了某些特定的运算，但由于其硬件固化，其在算法设计的灵活性以及可升级性存在不足。DSP体系属于串行指令执行系统，在某些条件下还是限制了它的使用。相对于前文所述的方案，基于单个FPGA为核心芯片的智能视频监控系统主要有以下优势：FPGA结构灵活，有较强的通用性，FPGA设计容易移植；产品开发周期短，容易面市，而且FPGA系统易于维护，FPGA的可重载性也使其系统易于扩展升级；FPGA适合于模块化设计，其并行运算的特性能够提高运算、处理的效率，适于实时数据处理。基于FPGA技术设计的智能视频监控跟踪系统具有相当重大的研究意义与应用价值。本课题结合广东省产学研项目，主要目标是基于FPGA芯片设计出具有智能视频分析算法及人机交互功能的智能视频监控跟踪系统，并以此为基础开发出具有高通用性和高配置性的嵌入式智能监视器。

1．2智能视频监控国内外研究现状

国外的研究主要有：由美国国防高级研究计划局(DARPA)资助、卡内基梅隆大学、戴维SARNOFF研究中心等几家著名研究机构合作研发的视频监控系统VSAMllol。VSAM项目设计目标是为在特殊环境下进行的应用监控开发的一种自动视频解析技术，用于实现在异常危险环境或者人力无法进行监控等场合下的自动监测。欧盟设立的视频监控和检索项目ADBISOR(Annotated Digital Video forSurveillance and Optimized Retrieval)，设计目标是为了加强地铁交通的安全监控。英国的雷丁大学(University ofReading)开展了对车辆和行人的跟踪及其交互作用识别的相关研；Maryland大学研发的实时视觉监控系统W4，可以定位人和分割出人的身体部分，还可以通过建立外观模型用以实现多人目标跟踪，甚至可以对室外环境中的人以及人与人之间的交互进行监控。国内的研究机构主要有：中科院北京自动化研究所下属的模式识别国家重点实验室，他们的研究方向是交通场景的视觉监控(基于三维线性模型定位、基于扩展卡尔曼滤波器的车辆跟踪算法)、人的运动视觉监控(基于步态的远距离身份识别和行为模式识别(对目标运动轨迹和行为特征学习的模糊自组织神经学习算法)，并且已经取得一定的成果。国内还有一些高校也进行了这方面的深入研究，如华中科技大学、浙江大学人工智能研究所、上海交通大学、北京航空航天大学、北京理工大学等。

目前，我国的视频监控系统大多还是采用PC机和视频采集模块作为系统主要部分，基于嵌入式技术的视频监控系统设备还正处于刚刚起步的阶段，没有特别成熟的产品应用。相信基于嵌入式技术的视频监控系统必定会成为这个行业的发展方向，FPGA技术在视频监控领域的应用必将成为新的研究热点，并且促进行业发展。