基于Hadoop的视频转码的设计与实现文献综述
2020-04-13 11:04:37
文 献 综 述 1. 前言随着互联网和手机网络的不断发展 ,媒体传播的平台越来越多,相应的传播平台支持的媒体格式也越来越多。
从手机、到IPTV、到高清数字广播,不同平台对内容的格式的要求完全不同,其中包括了编码格式/规格、分辨率、帧率等参数的变化,因此对多媒体内容的编码格式进行转换变得必不可少。
多媒体处理过程对计算能力要求高,传统的集中式数据转码系统不足以应付数据量大、数目多的转码需求,并且随着视频数据的不断增多,集中式数据转码系统难以达到处理能力随着数据量线性增长的要求,因此,有必要进行分布式转码的研究。
Hadoop是一个开源的云计算框架,它是一个适合处理海量数据的并行编程系统,可以根据数据分布等信息自动创建多个并行子任务,并将子任务调度到合适的集群节点上并行执行。
所以此模型能够很好地适用于多个视频数据文件同时转码。
MapReduce是Hadoop系统的核心模块,它使得程序员不必关心节点失效、任务失效及任务之间的数据等问题,而只需按照MapReduce编程规范定义好map函数、reduce函数以及一些数据格式信息,即可完成分布式数据处理问题。
2. 云计算的发展和研究现状云计算是并行计算(Parallel Computing)、分布式计算(Distributed Computing)和网格计算(Grid Computing)的发展,或者说是这些计算科学概念的商业实现。
云计算是虚拟化(Virtualization)、效用计算(Utility Computing)、将基础设施作为服务Iaas、将平台作为服务Paas和将软件作为服务Saas等概念混合演进并跃升的结果。
由于云计算是多种技术混合演进的结果,其成熟度较高,又有大公司推动,发展极为迅速。
Google、Amazon、IBM、微软等大公司是云计算的先行者。