摘 要

云计算在最近一段时间受到越来越多的关注。而阿里云在中国是云计算发展的热点，结合云计算以服务为中心的理念，获得强大的计算能力，应对数据处理中要求计算性能越来越强、越来越灵活的需要，应用云计算当前已有的调度策略不能完成海量数据高效快速的处理，故以阿里云为切入点，研究适合大粒度并行作业的调度策略对提高数据的计算速度具有非常大的意义。根据部分作业对公有云资源调度的要求，利用阿里云平台所提供的API接口，实施资源的租用、作业提交、结果传递、资源释放、成本计算，为实现混合云之间的无缝衔接奠定基础，提高的调度工作效率。运用所学的相关专业知识对系统进行分析、设计和实施，最终实现了一个功能相对完善、易于操作的系统。

关键词：云计算； 阿里云； 成本计算； 资源调度； 作业提交

Abstract

Cloud computing in the most recent period are more and more attention. And Ali cloud cloud computing in China is the focus of development, combined with cloud computing service-centric philosophy, access to powerful computing capability, to deal with the data processing requirements of more powerful computing performance, the need for more flexible, cloud computing the current existing scheduling policy can not be completed quickly process huge amounts of data efficiently, so as to Ali cloud as the starting point for research large-grained parallel job scheduling policies to improve the computing speed of data has a very large significance. According to part of the job of the public cloud resource scheduling requirements using the API interface provided by Ali cloud platform, the implementation of rental resources, job submission, the result is passed, the release of resources, costing, lay the foundation for seamless mixing between the cloud improve scheduling efficiency. Apply the relevant expertise of the system analysis, design and implementation, and ultimately a function relatively well, easy to operate system.

Key Words：Cloud computing; Ali cloud; costing; resource scheduling; job submission

目 录

学位论文原创性声明 2

学位论文版权使用授权书 2

摘 要 I

Abstract II

第1章 绪论 1

1.1 研究课题介绍 1

1.1.1课题研究背景及意义 1

1.1.2 研究现状分析 1

1.1.3 课题研究内容 2

1.1.4 论文结构概述 2

1.2 开发技术和相关工具使用和分析 3

1.2.1 Hadoop简介和分析 3

1.2.2 Java使用和分析 4

1.2.3 XML使用和分析 5

1.2.4 CSS使用和分析 5

1.2.5 JavaScript使用和分析 6

1.2.6 MySQL使用和分析 6

第2章 基于阿里云的系统分析 7

2.1 基于阿里云的系统概述 7

2.2 基于阿里云的功能需求 8

2.3 基于阿里云的设计约束 9

第3章 基于阿里云的系统设计 10

3.1 基于阿里云的功能模块设计 10

3.2 基于阿里云的数据库设计 11

3.2.1 数据库建表 11

3.2.2数据库连接 13

3.3 基于阿里云的系统界面设计 15

3.4 基于阿里云的系统设计关键技术 16

第4章 基于阿里云的系统实现 19

4.1 成本计算模块 19

4.1.1计算成本分析 20

4.1.2运行环境 20

4.1.3 作业资源需求计算 20

4.1.4 成本计算实现 21

4.2 资源调度模块 22

4.2.1 Hadoop添加节点 22

4.3 作业提交模块 23

4.3.1作业提交系统总体设计 23

4.3.2作业提交具体实现 24

结束语 25

参考文献 26

致 谢 27

第1章 绪论

1.1 研究课题介绍

1.1.1课题研究背景及意义

如今大数据在我们身边盛行，在这样的环境中，出现了一些高性能的计算，并且成为了主流，主要包括集群计算、网格计算以及云计算等，这些环境可以需要完成的操作愈加的多，并且还要考虑到这些环境节点异构的特殊性，使得任务的完成更加的艰难，并且在这样的异构中，调度等相关的问题在国内外都是被证明为NP级难度的问题。在调度方面，国内外一些学者提出了基于数学理论和大自然进化规律的算法，比如后续推广应用的蚁群算法、较为经典的遗传算法、人工鱼群算法和模拟退火等算法，他们的提出以及改进同样也被国内外的学者大范围的应用。但是通俗的，作为一个确定的算法是很难适用于多个计算环境中的，这样就很难实现且也很难满足多样的计算领域的科学任务，这也就说明，即使强加使用，效率也会比较低。在本次系统的设计中，要寻找一种基于阿里云的环境，并且能够对并行数据进行处理性的调度。

在这篇文章中，通过结合云计算以服务为中心的理念，从而获得强大的计算能力，现在社会对计算机性能的数据处理能力的强度愈加高与灵活，再加上当前调度策略在应用云计算领域已不能完成大数据的高速需求，这里以阿里云为重点，能够研究出所谓的大粒度并行作业，也就是以调度策略来提高计算速率等已经产生了极为重大的意义。

1.1.2 研究现状分析

在2014年的时候全球云计算（Cloud Computing）^[1]，其所占的服务市场额度已经达到了1528亿美元之多，同比增长了17.6个百分点，按着这样的速度，相关人士指出，在2015年所占的额度可能会超过1800亿美元，这样的增长是异常迅速的。同年，也就是2014年，国内的公有云服务市场大约达到了68美元，从这么多的数据可以看出国内云计算（Cloud Computing）有着潜在的发展能力以及广阔的市场，特别是伴随着中国的本土市场、全球海外商业相关市场的云计算（Cloud Computing）需求在蓬勃发展，中国主流的云服务商将会迎来发展的黄金期。如今，全球云服务生产者出现了“两国三超”的竞争格局：中美“两国”正大力开拓全球云计算技术，并致力于云计算产业全面发展，阿里云、Google、Amazon“三超”（三个超级云计算平台）目前处于云计算技术领导者的位置，以上三家公司自主研发的技术，即以云计算为核心的，它们一直在催生、引领着全球相关技术的发展。

阿里云于2010年在云计算（Cloud Computing）相关领域，初步实行对外开放，向外界开放了技术服务。自此，用户可以利用互联网方式，获得大量的数据计算能力、处理能力、存储资源的能力等等，主要功劳来源于阿里云。知道2014年6月为止，在阿里云服务端活跃的用户就超越了140万，这是一个比较惊人的数据，涉及到互联网、游戏、音视频、电商等等行业。再加上IDC的调查报告也指出了国内最大的公有云计算服务的提供商是阿里云。