1．目的及意义

云计算作为一种新型的计算模式，彻底改变了传统 IT 商业模式，越来越多的企业、事业单位和个人用户将其业务逻辑转移到云平台中，学术界也对云计算相关技术进行了广泛研究，当前研究工作重点关注云计算基础设施、资源分配、安全等方面。在互联网环境中，云平台一般由自利的 IT 公司运营，这些公司向使用云资源的用户收费来获得利润。云平台收到用户请求之后需要向用户分配资源，由于云平台的资源是有限的，所以在用户的需求数量很大的情况下，云平台不能将资源分配给每一个用户。本研究基于此背景使用强化学习方法需要设计一种云资源分配的算法来保证云平台的收益最大化。

由于云服务的广泛使用，对适当和动态分布的需求将使资源加倍。云环境中最复杂的问题之一是资源分配，一方面资源提供者应该获得最大的利用率，另一方面，用户希望基于他的时间和预算约束来租赁最好的资源。目前的云计算平台通过固定价格分配机制将虚拟机实例分配给用户。由于虚拟机实例被分配给拥有最高估值的用户，组合拍卖的分配机制在固定价格机制上特别有效。将虚拟机分配问题作为一个组合拍卖问题，提出了两种解决方案。而经过实验表明，基于组合拍卖的机制可以显著提高分配效率，同时为云提供商带来更高的收入。

资源分配是当今互联网的一个重要挑战，尤其是在像电网，云等大型分布式系统中。资源分配是电网研究中一个非常活跃的领域。这些资源由公司所有，主要分布在地理上。 资源分配算法可以是集中式的，也可以是分散式的。 集中式算法需要全局知识和实时信息，这对于大多数大型分布式系统来说是不切实际的。集中式算法的成本模型根据资源的使用情况获得成本。

资源分配的经济模型采用分散算法。这些模型基于用户从服务获得的价值而派生出成本[1。大多数基于经济模型的资源分配算法都依赖于单一市场机制。Vilajosana等开发了一个可配置的拍卖服务器，它提供了动态配置市场的能力。Buyya等利用商品市场、发布价格等经济模式，开发资源管理的网格资源代理。

Lin等使用动态拍卖(基于Vickrey拍卖)来执行资源分配。云用户竞拍资源，出价最高者赢得拍卖。赢家支付第二高的价格。Zaman和Grosu设计了一种基于拍卖的机制，在虚拟机配置过程中基于用户需求执行动态虚拟机配置和分配。{title}

2. 研究的基本内容与方案

{title}

在亚马逊、eBay或淘宝等电子商务网站中给卖家分配印象的问题上，其目的是最大化平台产生的总收益。当买家搜索关键字时，网站会向买家提供该商品的不同卖家列表，以及相应的价格。这可以被看作是资源分配问题的一个实例，在这个问题中，卖方选择每一步的价格，而平台根据所选择的价格和每个卖家的历史交易来决定如何分配印象。由于系统的复杂性，大多数电子商务平台采用的启发式分配算法主要依赖于卖家的交易记录，而不考虑卖家的合理性，这使得他们容易受到价格操纵的影响。

这个设置可以被建模为一个资源分配问题，在每个回合中，买家到达，算法输入卖家的历史记录和他们的价格，并输出这样的印象分配。卖家和买家进行交易，并更新历史记录。在现实中，大多数电子商务网站都采用了一类启发式算法，比如协同过滤或基于内容的过滤，其中很多都是根据卖家的交易历史计算出的“历史得分”。然而，这种方法通常不会考虑到卖方在选择价格时制定策略，因为某一轮的某些次优价格可能会影响随后几轮卖方的历史记录，从而在长期内为他们带来更多的收益。更糟糕的是，由于卖家通常不知道使用的算法，他们可能会“探索”他们的定价方案，使得系统有时无法控制。一种更复杂的方法将所有这些因素考虑进去，这似乎很自然。

而研究的主要内容是模型确定。首先需要确定云用户的模型和云平台（供应商）的模型。主要从云供应商的角度来考虑：首先云用户提交资源请求给云供应商，云供应商在自身资源有限的情况下，怎样来对资源进行定价以及用什么方法分配资源给云用户，能够使得云供应商自身的收益最大化。然后使用强化学习机制设计研究云资源分配算法。

拟采用的技术方案如下：

l 文献查阅

查阅目前国内外已经发表的关于云资源分配算法研究的论文，了解云计算资源分配的相关知识