视频运动目标检测与跟踪技术研究文献综述
2020-04-14 20:02:31
1.1设计目的及意义
随着科学技术的不断发展,人类逐渐步入了信息时代。计算机已成为人们生活中不可缺少的一部分,各个行业和领域的人都开始用计算机从事相关工作。人类通过视觉等感官从客观世界中获取信息,获取的绝大多数信息是与视觉有关的。由于计算机的普及以及用计算机解决实际问题的迫切需要,人们也希望能赋予计算机人类视觉的功能,用计算机系统代替人眼和大脑来感知和理解世界。计算机视觉领域在这个背景下产生并且迅速发展,已成为一门不同于人工智能、图象处理、模式识别等相关领域的成熟学科。
计算机视觉既在工程领域发挥着无比重要的作用,同时在科学领域也是热门研究对象之一。它作为一门综合性的学科,涉及到各个学科的专业知识,如计算机科学、物理学、生理学和应用数学等等。计算机视觉就是利用成像系统获得输入数据后,由计算机来处理、解析和获取信息,最终使计算机拥有像人类同等水平的视觉能力和自主适应环境的能力。如今,越来越多的领域用到计算机视觉技术,如智能交通、智能机器人、工业自动控制、医疗诊断和军事等领域。随着社会的不断发展和国民经济的快速增长,人们越来越重视安防问题,这使得视频监控在人们生活当中的应用越来越广泛。由于计算机视觉技术的运用,现在的视频监控系统趋于智能化,这不仅体现了计算机视觉的重要性,也是人们对实时监控的需求日益提高所致。
运动目标检测与跟踪不仅是计算机视觉技术的重要组成部分,也是中高级视觉处理前期的基础工作。它融合了图像处理、机器学习、神经网络、模式识别等多个领域的科学技术,广泛应用于视频监控、医学、智能交通、工业、军事等领域。在智能交通方面,运动目标检测与跟踪可以提供道路上的车流量、车速、车密度等重要参数,同时实时监控和跟踪道路上的车辆,监测交通事故或者车辆故障。在视频监控方面,它可以对银行、政府部门等重要场所出现的人进行实时监控与跟踪,对目标进行分析与描述,大大减轻了工作人员的压力,提高了工作效率。运动目标检测与跟踪在工业领域有着重要意义,同样在军事科技领域也发挥着不可替代的作用,例如军事侦查、武器瞄准、导弹跟踪等。
运动目标检测与跟踪从视频图像序列中检测出运动目标并进行跟踪,为后续的目标识别、行为理解与描述提供中高层视觉处理。它不仅广泛应用于各个领域,其结果也直接影响着后续的视觉处理效果。由于光照强度变化、目标遮挡、颜色干扰、物体形变等关键因素会影响运动目标检测与跟踪算法的准确性,因此必须综合考虑这些因素,以提高算法的准确性和鲁棒性。目前,检测与跟踪理论体系还不完善,重大问题尚未解决,新的方法还有待探索。因此,运动目标检测与跟踪技术不仅具有重大研究意义和价值,也是一项值得关注的重难点课题。
1.2国内外研究现状
由于运动目标检测与跟踪技术在智能视频监控、人机交互、民事、军事等领域被广泛运用,使得国内外越来越多的学者对这一技术研究产生浓厚的兴趣。在过去的几十年里,人们通过大量深入的研究,已经提出了许多有效且实用的算法。帧间差分法、背景差分法和光流法是运动目标检测最常用的方法。帧间差分法运算量小,简单易实现,但是提取目标不完整。Vieren 等人基于三帧差分法提出了一种提高检测精度的方法。背景差分法的关键在于背景建模,由于外界光照强度和场景的变化,背景图像很容易受到影响,因此如何建立背景动态模型来适应复杂变化的环境是该方法需重点考虑的问题。针对这一问题,Stauffer 等人提出了混合高斯模型(Gaussian Mixture Model,GMM)的背景建模法,它能抑制外界如光照强度变化、树叶抖动等干扰引起的噪声。Kaewtrakulpong 等人提出了一种改进的自适应混合高斯背景模型的方法,通过在不同的阶段使用不同的更新方程,使系统更快地学习来更准确、更有效地适应变化的环境。Zivkovic通过分析像素级别的方法提出了一种运用高斯混合概率密度的自适应算法,以适应光线的干扰。光流法通过相邻帧之间像素的瞬时运动速度来确定运动目标。光流法在摄像机运动的前提下也能检测出目标,准确率高但计算复杂,实时性和抗噪能力差,并且对硬件要求高,不适用于实际应用。Denman 等人通过限制光流计算的移动区域和反馈机制的修改检测区域,提出了一种自适应的计算方法。
运动目标跟踪方法主要分为四类:基于特征的目标跟踪、基于区域的目标跟踪、基于模型的目标跟踪和基于主动轮廓的目标跟踪。基于特征的方法主要是利用目标的特征进行跟踪,例如用目标的质心来跟踪目标和以颜色直方图为基础的 MeanShift 算法。Sun 等人通过将目标分成多个子块来降低背景像素的影响,实现了一种稳定跟踪的方法。Li 等人提出 Surf 特征点结合 Camshift算法的方法。基于区域的方法主要是将候选模板与当前图像的所有可能位置相叠加,然后计算相似性度量,得到的最大相似性对应位置就是目标位置。Badenas等人提出了一种区域跟踪算法,该算法利用分割结果提供跟踪信息,然后用跟踪信息改善分割效果。还有基于目标模板和候选模板的颜色直方图加权求和的跟踪方法。基于模型的方法是在有先验知识的基础上建立目标模型,然后进行匹配和跟踪,例如有纸板人模型、椭圆柱体模型等。基于主动轮廓的方法用封闭的曲线轮廓来描述跟踪目标,并随着轮廓的更新从其边缘特性中获得目标的运动信息。Kass 等人提出了一种基于 Snake 主动轮廓模型的方法。另外,还有 B-Snake 模型,它使轮廓更清晰和结构化。
随着我国国力的不断提高和科学技术的快速发展,国内众多研究机构和高校也投入了大量的财力人力到这一项研究中。例如,中国科学院自动化研究所模式识别重点实验室、微软亚洲研究院、天津大学计算机视觉实验室、上海交通大学计算机视觉实验室等,都致力于运动目标检测与跟踪技术方面的研究。中国科学院自动化研究所自主研发的 Vstar 智能视频监控系统,具有真正的行为识别能力。Vstar 提供最准确、最先进、最综合的智能视频监控解决方案,可以实时检测具有威胁性的可疑行为,向监控人员进行报警,以便能及时采取保护措施。中科院自动化所模式识别国家重点实验室下的视觉信息处理组主要研究计算机视觉,特别包括运动目标检测与跟踪这方面的研究。国内的一些企业也将运动目标检测与跟踪技术用于产品开发,取得了良好的效果。海康威视作为以视频为核心的物联网解决方案提供商,凭借专业的技术和优质的服务在国内甚至全世界都享有很高的评价。海康威视自主研发的安防产品不仅应用于金融、交通、教育、军队等各个行业,也应用于北京奥运会、亚运会、国庆大阅兵等重大安保项目。
从总体上说,目前的运动目标检测与跟踪技术已经越来越成熟,它能解决许多特定条件下的难点问题,但是由于复杂的环境和人们日益增长的需求,算法还不具有通用性,实时性和鲁棒性也有待提高。针对不同的问题,运动目标检测与跟踪算法还需深入研究和进一步改进。