基于VM技术与Docker技术搭建的Hadoop集群性能比较与分析开题报告
2021-12-17 21:50:01
全文总字数:1343字
1. 研究目的与意义及国内外研究现状
随着云计算的不断发展与深入,各项技术层出不穷。云计算其有超大规模,虚拟化,高可靠性,通用性,高扩展性,按需服务,极其廉价等特点。为了解决这些云计算所面临的这些挑战,行业内开发出了很多被实践证明非常有效的解决方案,比如为了处理海量数据而开发的Hadoop和Spark技术,为了管理云计算平台而诞生的OpenStack技术,为了提高应用部署的高效性和通用性而出现的Docker技术等,这些技术各司其职,解决了云计算中不同层次面临的艰巨问题。为了更好地利用这些技术,提高各项资源,如CPU,存储,网络等的利用率,本课题旨在研究基于传统虚拟机(VM)技术的Hadoop集群搭建与基于新兴Docker技术的Hadoop集群搭建的性能比较与分析,从而为实践生产环节中云计算资源分配方案的设计提供有效数据参考。国内外研究现状
云计算的出现使得数据中心的各种硬件资源被抽象成虚拟单元,来满足用户复杂动态的资源需求。由于云数据中心的规模日趋庞大,加上云基础设施的复杂性和异构性,如何合理设计云环境中的资源调度机制是云计算的难点之一。
基于传统虚拟机(VM)技术搭建的Hadoop集群的研究相对较多,而Docker容器技术——这个风头直追OpenStack的云计算开源项目,关于它的热议已席卷虚拟化乃至云计算行业,业内各大厂商(包括亚马逊、红帽、IBM和 VMware 等)都加入了容器的行列。但是两者之间的性能究竟具体有何差别,便是本课题要研究的主要内容。2. 研究的基本内容
由于云数据中心的规模日趋庞大,加上云基础设施的复杂性和异构性,如何合理设计云环境中的资源调度机制是云计算的难点之一对于云提供商和云用户来说,他们有各自的利益追求,目前关于云计算中资源调度方法的研究,往往只从一方角度考虑。所以本课题主要研究内容是从各个方面比较两个环境下的Hadoop集群的性能。
本课题主要研究基于传统虚拟机(VM)技术的Hadoop集群搭建与基于新兴Docker技术的Hadoop集群搭建的性能比较与分析并设计两种环境下搭建的Hadoop集群的性能比较的方案,从而为实践生产环节中云计算资源分配方案的设计提供有效数据参考。
3. 实施方案、进度安排及预期效果
2015年11月~12月:资料收集,完成任务书和开题报告,完成系统分析与概要设计;
2016年1月~2月(开学前):完成集群的部署和基本操作的学习;
2016年3月~5月:完成两种集群的性能测试,得出性能评估,进行相关比较分析。
4. 参考文献
1. 陈存香,陈清金,张岩; hadoop与docker技术的融合,邮电设计技术,2015,1007-3043.2015.05.002
2.严丽云;虚拟化与docker容器之争,人民邮电,2015,tp3o2
3.曾金龙, 肖新华, 刘清;docker开发实践,2015,tp316.81