基于OpenCV图像处理的球赛智能解说系统的设计与实现文献综述
2020-04-14 17:21:23
图像是人类获取外界信息的主要来源,在人类各种感官索取的外界信息之中,约70%来自于眼睛所摄取的图像,它是一种最为直观的信息。在人工智能急速发展的今天,计算机要实现智能化,必须具有采集与处理图像信息的能力。而图像中的运动目标是我们关注的重点。
计算机视觉与数字图像处理技术,可广泛地应用于工业、医疗、军事、灾害预警等领域,以及人们的日常生活之中,是目前人们研究的智能化系统的重点方向之一。为了处理运动图像中的信息,基于视频序列图像的运动目标分析与追踪也就应运而生。其中,针对视频连续图像中,运动背景下的运动物体分析与追踪是一个难点,也是这种技术在走向实际应用过程中必须面对的现实。
本课题要求构建一个篮球解说系统,可代替人类解说篮球比赛中的进球,以实现生活智能化。为了识别出进球的球员,需对篮球的运动进行跟踪,这属于运动目标检测与跟踪的研究范畴。运动目标检测是将运动目标从监控的场景中识别并分割出来,而目标跟踪是通过运动目标的某些有效特征,运用某种算法,在视频图像序列中搜寻出目标最可能存在的位置,即目标定位。在计算机图像处理和目标识别或者跟踪的过程中,运动目标检测是基础,是整个系统的第一步。由于检测算法运算量较大,且检测结果的好坏,也会对后续的目标识别与跟踪的产生巨大影响,是整个系统中至关重要的一个环节。
国外在视频目标跟踪方面的研究起步较早,英国的Reading大学最早对车辆和行人跟踪做了深入研究,并开发了基于3D模型的车辆跟踪系统。美国康奈尔大学设计出了一套对多目标实现长时间准确跟踪的系统。日本也实现了对居民小区内人物运动的跟踪分析。国内在目标跟踪方面起步较晚,但也有一些高校和研究所取得了相当不错的成果,其中中国科学院自动化研究所模式识别国家重点实验室在安保系统、行人运动跟踪、交通场景监控方面取得了显著成果,暂时领先于国内其他研究机构。
目前对于运动目标检测与跟踪,国内外学者已经提出了相当多的方案。连续帧间差分法是一种常用目标检测方法,原理是利用相邻视频图像序列中相邻帧的强相关性对目标进行检测,该方法对环境有很好的适应性,但却不能够很好的分割运动对象,不利于进一步的识别和分析。目标检测还有背景差分法、光流法、运动能量法等。对于运动目标跟踪则有基于运动模板的跟踪算法、MeanShift算法、CamShift算法、基于C-V模型和卡尔曼滤波的目标检测与跟踪算法等。目前没有一套确定统一的方法去实现运动目标检测与跟踪,这些方法各有其所适用的场景,所取得的效果也有所优劣。
OpenCV(Open Source Computer Vision Library)是开源的计算机视觉和机器学习库,提供了C 、C、Python、Java接口,并支持Windows、Linux、Android、Mac OS平台。OpenCV自1999年问世以来,就已经成为计算机视觉领域学者和开发人员的首选工具。OpenCV提供的视觉处理算法非常丰富,加上其开源的特性,处理得当,不需要添加新的外部支持也可以完整的编译链接生成执行程序,所以很多人用它来做算法的移植,OpenCV的代码经过适当改写可以正常的运行在DSP系统和ARM嵌入式系统中。
OpenCV对非商业应用和商业应用都是免费的。2018年7月4日,OpenCV3.4.2版本发布。2018年11月18日,Opencv4.0.0版本发布,是目前的最新版本。
{title}2. 研究的基本内容与方案
{title}本课题为基于OpenCV图像处理的球赛智能解说系统的设计与实现,拟构建一个能够代替人类解说员解说篮球比赛的系统。首先要向该系统中导入某一段篮球比赛视频、双方队伍以及球员的相关信息,随后系统开始播放这一段篮球比赛视频,当比赛中出现进球得分时,系统会分析球场上情况,并通过语音播报某方队伍进球,如“红队进球,进球球员是5号孙某。”
为实现功能,需搭建一个系统,包含三个模块,分别为:视频信息输入与存储模块、视频图像处理模块、语音及外围设置模块。其中视频图像处理模块需利用OpenCV开源计算机视觉库,在PyCharm IDE上用python语言对视频完成以下操作。
(1)对图像数据进行复制、转换、滤波、边缘检测、形态学处理、直方图处理、二值化等操作。