基于子镜头聚类的关键帧提取算法毕业论文
2021-05-13 23:45:48
摘 要
信息的获取多数来自于网络,而网上的信息大体可分为三种,分别是视频、文本和图像。视频信息与文本信息或图像信息相比,更加直观、更加高效,具有更多的信息量,因此被广泛应用在生活中的各个领域。由于视频信息的结构复杂、数据量大,由于这些特点,视频信息处理起来比图像复杂许多。网络上的视频量随着时间的累积越来越多,视频检索发挥着越来越重要的作用,引起了人们的关注。要进行视频检索,首先要进行关键帧的提取。
本文先介绍本次研究的目的和国内外现状,然后介绍视频的结构,最后介绍子镜头层次聚类算法。此方法先确定镜头的首帧和尾帧,然后利用每一帧之间的颜色直方图特征,利用子镜头聚类的方法来提取处关键帧。该算法不仅具有聚类算法的准确性,而且大大降低了处理的数据量,效果好。
关键词:关键帧提取;渐变帧检测;层次聚类
Abstract
Most of the information obtained from the network, and online information can be divided into three kinds, namely, video, text and image. Video information is more intuitive, more efficient and more information than text or image information, so it is widely used in all fields of life. Because of the complex structure and large amount of data, the video information is much more complex than the image. With the increasing time of video on the Internet, video retrieval plays a more and more important role, which has attracted people's attention. To carry out video retrieval, the first to carry out the extraction of key frames.
This paper first introduces the purpose of this study and the status quo at home and abroad, and then introduces the structure of the video, and finally introduces the sub shot hierarchical clustering algorithm. This method first determines the first frame and the end frame of the shot, and then uses the color histogram of each frame to use the method to extract the key frame. The algorithm not only has the accuracy of clustering algorithm, but also greatly reduces the amount of data processing, the effect is good.
Key words:key frame extraction;gradual change detection;hierarchical clustering
目录
第1章 绪论 1
1.1研究的目的及意义 1
1.2国内外研究现状 2
1.3本文的研究内容及组织结构 3
1.3.1本文的研究内容 3
1.3.2本文的组织结构 3
第2章 视频数据结构与特征 5
2.1视频的数据结构 5
2.1.1视频数据的特点 5
2.1.2视频数据的层次结构 5
2.2关键帧提取一般采用的特征介绍 6
2.2.1视觉特征 7
2.2.2动态特征 8
2.2.3视觉注意模型 8
2.2.4空间关系特征 8
2.3帧提取技术原理 9
2.4本章小结 12
第3章 子镜头聚类算法原理 13
3.1渐变帧检测与剔除 13
3.2子镜头检测特征及阈值 15
3.3子镜头关键帧提取 16
3.4本章小结 16
第4章 关键帧提取 17
4.1基本环境的配置 17
4.1.1下载OpenCV 17
4.1.2安装OpenCV 17
4.1.3编译OpenCV 19
4.1.4配置VC 6.0环境 19
4.1.5在项目中运用OpenCV 21
4.2帧提取 22
4.3渐变帧检测与剔除 24
4.4提取各子镜头关键帧与聚类 25
第5章 总结与展望 26
5.1总结 26
5.2下一步工作的展望 26
参考文献 28
致谢 29
第1章 绪论
1.1研究的目的及意义
互联网技术在高速发展的同时,网络上的信息也越来越多。视频是一种在网络上传播广泛的信息,人们通过网络获取视频的时候,希望视频能像文本一样具有查找、预览和处理的功能,这样就能在短时间内通过快速的浏览获得自己想要的视频。视频不同于文本和图片,它格式多样,结构复杂,数据量很大,所以视频处理非常困难。
互联网上的视频数量庞大,想要快速地找到自己所需要的视频是比较困难的,当前一 般通过文字来描述视频内容,由于文字的局限性和每个人对文字的理解不同,会导致文字描述与视频内容产生误差,人们需要通过观看视频画面来判断视频是否符合要求,这样才能准确地找到目标视频。视频的数量庞大,每个视频播放时间长,如果观看每个视频来寻找目标视频未免太耗时间,效率太低。所以产生了视频检索,现在的一般方法是提取视频中的关键帧,然后用关键帧代表原视频进行操作,通过这样来减少需要进行的大量数据计算,从而提高检索的效率。
关键帧就是图像帧,但它不同于普通的图像帧,是镜头的重要组成部分,可以用关键帧代表镜头信息进行数据处理。当一个镜头所描述的画面相当复杂时,一个关键帧已经不能满足描述该镜头了,这时我们可以在该镜头下选取几个关键帧,这样就可以将镜头内容描述清楚了。用我们提取的关键帧来代替镜头信息进行分析与处理,就可以极大地减少视频处理时需要进行的数据量。视频处理的关键在于关键帧提取,当我们提取关键帧后,用关键帧代替原视频进行处理操作,就将视频处理变为图像处理,这样做可以极大地减少处理的数据量,并且能提高在网络视频数据库查找目的视频的效率。
目前有许多的文章把片段检索的第一步写成镜头分割,可是镜头分割有时不能准确检测镜头边界。视频的编辑方式比较复杂,如果一个镜头插入了另一个镜头,就会变成两个镜头。用视频帧代表视频进行处理,就不需要镜头分割。由于视频中存在许多内容比较相似的冗余帧,如果用所有帧来进行相似匹配效率太低。本文在准确性和数据简易性的原则上,探究基于子镜头聚类关键帧提取算法。这种算法是基于聚类算法产生的,不仅可以实现聚类效果,而且减少了提取关键帧时大量的计算量。
1.2国内外研究现状
互联网上存放的视频数据量之大,内容之多,是没有一个人能看完的。那么一个人从网络上寻找他所需要的视频时应该怎么办,这时就需要用到检索。怎样对大量的视频信息进行检索,需要深入研究。目前的方法告诉指出,提取关键帧是视频检索的第一步。有了关键帧,对于视频的一系列操作,例如查询和浏览等,就可以通过关键帧来进行,这样做可以极大地减少对数据的处理数量。关键帧还可以用于对视频的检测,是视频检测的基础。