基于语义的视频关键帧的提取文献综述
2020-04-14 17:31:24
随着移动拍摄技术和数字多媒体技术的飞速发展,数字视频资源与日俱增。在收集视频图像的时候,并不是所有视频信息都是用户需要的,用户难以从如此海量的视频数据中获得自己感兴趣的内容,如何有效地组织管理数据,帮助用户高效地浏览及检索其所需或感兴趣的视频,具有重要的理论意义和实用价值。
一些关键的图像信息对整个视频内容起到解释说明作用,从视频图像中提取某一张视频图片,我们称为关键帧,一个关键帧通常可以反映图像帧的主要内容。关键帧的提取是视频处理的一个关键技术,是将对视频处理转换为对图像处理的重要方法之一。基于关键帧的视频摘要是用于视频处理的有效手段,将选定的关键帧作为视频摘要呈现给用户,以帮助用户高效地认知和理解视频的基本内容。由于视频关键帧的提取在很大程度上减少了计算机处理数据的数据量,同时也提高了用户查找视频的效率,对视频图像中关键帧的提取成为许多研究者们研究的热点。
在不同类型的视频中,由于采用的拍摄手法、表现内容的方式,以及用户关注焦点的不同,提取关键帧的方法也应该不同。传统方法大多基于底层特征对视频关键信息进行提取,忽略了对用户感兴趣内容的选择。近年来,通过使用视频高层语义对关键帧进行提取的研究逐渐引发了研究人员的关注。根据类型的不同,关键帧的提取可以选择基于镜头边界提取关键帧,基于图像信息提取关键帧,基于运动分析提取关键帧,基于MPEG压缩流的宏块统计特性提取关键帧等。
考虑到互联网中视频具有复杂性和多样性等特点,本次设计研究基于语义的视频关键帧提取技术。语义是人能够从图像或视频中所得到的信息,它包括其背后所隐含的内容。语义除可以描述客观事物以外,还可以描述主观感受以及更抽象的概念。基于语义分析的方法,主要思想是通过帧间颜色、纹理或其他视觉信息的突变来提取关键帧。人们需要对于物体、事件以及事件之间的关系进行理解,只有基于这种理解的基础之上才能构建基于语义的关键帧提取。
经过研究人员不懈的努力基于语义的视频处理有了很大发展,但也存在很多问题。例如如何使计算机系统能够更加准确而快速的处理,又例如如何使用户与系统进行交互。本次设计希望使用一种较为准确的方法提取关键帧,并且能较好地反映用户的关注焦点和视频镜头的内容。
{title}2. 研究的基本内容与方案
{title}1基本内容
本次设计主要实现基于语义的视频关键帧提取。首先,对关键信息的识别与提取是有效获得场景语义的关键步骤;然后,通过对场景语义的分析,设计并调配相关的算法;接下来,通过算法进行实验,在视频中提取一系列小的片段组合形成视频摘要,即一个显著图像集合用来表示视频段内容作为关键帧;最后通过根据已有算法与其他算法做优劣比较,并调试自身算法的诸多参数,以期达到最优的关键帧提取效果。
2技术方案
a、分析关键帧提取方案,进行理论论证与初步分析
由于视频数据的特殊性和复杂性等,还没有统一的适合于各种类型视频的关键顿提取方法。但通过对特定视频的内容进行分析,可以初步确定提取关键帧的大致数量,并且通过初步分析确定关键帧提取的合适标准。