摘 要

随着我国科技的进步和经济的发展，可持续发展已经成为我国发展的一个重要议题。而可持续能源在其中起到至关重要的作用。未来的可持续能源系统将不再能够依赖目前的能源供应需求模式。许多可再生能源不需要按需生产动力，因此需要新的市场结构来激励参与者的可持续行为。

我们了解到，电力交易代理竞赛（Power TAC）是一项新的年度竞赛，重点关注未来零售电力市场的设计和运营，特别是在智能电网环境中，可再生能源生产，智能计量以及代表客户和零售商的自主代理。它使用基于真实数据和先进客户模型的丰富的开源模拟平台。其目的是帮助研究人员了解客户和零售商决策的动态，以及所提议的市场设计的稳健性。因此，本文通过Power TAC这个平台来解决以上问题。

本文研究的问题具体包括以下两项。第一项是详细描述了Power TAC平台的运作方式，包括在这个平台中使用的一些术语，使得读者能够更加直观的了解我们所研究的问题，并为我们研究策略作铺垫。

第二项研究内容是，将经纪人的策略分为两个主要部分来描述，即批发市场策略和关税市场策略。在批发市场策略中，我们将复杂的连续竞标过程抽象成一个马尔科夫决策过程，通过严格依赖强化学习和预测方法，学习并适应运营环境。在关税市场策略中我们通过对市场进行预测来发布合约，从而吸引更多的用户。我们的最终目的是在竞赛中能够尽可能的盈利。为了检测我们的策略有效性，我们与其他经纪人在同一个环境下竞争，并且对结果进行分析。

关键词：强化学习；马尔科夫决策过程；电力交易代理竞赛；经纪人

Abstract

With the advancement of science and technology in our country and the development of economy, sustainable development has become an important issue in the development of our country. Sustainable energy plays a crucial role in this. Future sustainable energy systems will no longer be able to rely on current energy supply demand patterns. Many renewable energy sources do not need to generate power on demand, so new market structures are needed to motivate participants' sustainable behavior.

We learned that the Power Trading Agency Competition (Power TAC) is a new annual competition focusing on the design and operation of the future retail electricity market, especially in the smart grid environment, renewable energy production, smart metering and on behalf of customers and Retailer's own agent. It uses a rich open source simulation platform based on real data and advanced customer models. Its purpose is to help researchers understand the dynamics of customer and retailer decision making, as well as the robustness of the proposed market design. Therefore, this article addresses this issue with the Power TAC platform.

The issues studied in this paper specifically include the following two items. The first item is a detailed description of the operating mode of the Power TAC platform, including some terms used in this platform, so that readers can more intuitively understand the issues we have studied and pave the way for our research strategy.

The second research content is to describe the broker's strategy in two main parts: wholesale market strategy and customs market strategy. In the wholesale market strategy, we abstract the complex continuous bidding process into a Markov Decision Process, and rely strictly on reinforcement learning and prediction methods to learn and adapt to the operating environment. In the customs market strategy, we publish contracts by forecasting the market, thereby attracting more users. Our ultimate goal is to be as profitable as possible in the competition. To test the effectiveness of our strategy, we compete with other brokers in the same environment and analyze the results.

Key words: reinforcement learning; Markov Decision Processes; Power Trading Agent Competition; broker

目录

摘要 I

Abstract II

第1章 绪论 1

1.1 研究动机与背景 1

1.2 研究现状 1

1.3 研究内容 2

1.4 论文的结构安排 3

第2章 PowerTAC平台简介 4

2.1 平台运行所需的准备工作 4

2.2 平台中术语解释 4

2.2.1 经纪人 4

2.2.2 配电公司和会计服务 4

2.2.3 批发市场 5

2.2.4 关税市场 5

2.2.5 市场数据服务 5

2.2.6 关税客户 5

2.2.7 银行 5

2.3 平台的工作方式 5

2.4 平台运行的主要流程 7

2.5 本章小结 9

第3章 Power TAC中broker交易策略研究 10

3.1批发市场策略 10

3.1.1 基于强化学习的批发市场竞价策略 11

3.1.2 批发市场竞价策略的算法描述 12

3.2关税市场策略 13

3.2.1 基于对未来效益预估的关税市场条约出版策略 13

3.2.2 关税市场出版策略的算法描述 13

3.3 本章小结 15

第4章 结果分析 16

4.1 策略运行方法 16

4.2 运行结果 16

4.2.1 与默认经纪人竞争 16

4.2.2 与SPOT17竞争 20

4.2.3 与AgentUDE17竞争 24

4.2.4 与SPOT17和AgentUDE17同时竞争 29

4.3 本章小结 32

第5章 总结 34

参考文献 35

致谢 37

第1章 绪论

1.1 研究动机与背景

现如今，可持续发展是我国发展的一个重大课题，而可持续能源在其中也是重要一环。未来的可持续能源系统需要的不仅仅是高效，清洁，低耗的可再生能源; 他们也需要有效的价格信号来激励可持续能源消费以及更好地实时调整能源需求和供应。

未来的可持续能源系统必须包含一个可靠的解决方案以解决许多可再生能源（风能，太阳能，潮汐等）带来的主要挑战：这些资源无法确保按照需求来提供。因此，能源消费模式必须去根据这些可再生能源的供应能力来调整^[1]。这就造成了对新的市场结构的需求，从而在经济上刺激消费者的消费行为，例如，将能源消耗集中于能源供应更加充足的时间段，并更有效地利用分布式存储和小规模生产技术。

事实上，世界各国政府正在采取行动，通过需求管理和分布式发电，将电网改造成智能电网^[2]，并支持零售市场基础设施以及让客户参与电力市场。

减少碳排放和化石能源资源日益减少的需求正导致对风能和太阳能等可变输出能源的依赖增加，但有效利用这些资源将需要能源用户适应可持续能源的可用性。此外，许多家庭和企业正在安装小型分布式和可变输出的可再生能源^[3]。它们连接到中低压配电网，并且不在集中管理的控制之下。与此同时，智能计量设备和需求侧管理设备正安装在客户场所，以帮助他们监控和积极管理其能源使用情况。因此，客户需求弹性将增加，通过综合负荷分布进行需求预测将变得更加困难，尤其是随着使用时间和实时能源价格关税的出台。

美国国家标准与技术研究院（NIST）最近发布了智能电网互操作性标准路线图的初稿^[4]。NIST表示，最高优先级是需求响应和消费者能效措施。他们特别指出，如果没有市场信息，客户无法有效参与批发或零售能源市场。

同样，2009年10月，欧盟委员会宣布了战略能源技术计划（SET Plan）^[5]以及技术路线图草案。本路线图提到的优先行动之一是开发所谓的“智能城市”，以高效智能地管理当地的能源生产和消费^[6]。

1.2 研究现状

电力生产和分配系统是复杂的自适应系统，需要实时管理以平衡生产与需求。电力市场正在从中央监管体系向分散化市场转变。由于我们没有足够的经验来建立分散的能源系统并预测它们对经济的影响，所以这些转变是非常危险的。我们在最近的历史中观察到，设计这些系统的失败可能会造成重大损害。加州能源市场^[7]和安然公司的崩溃让人怀疑解除对电力行业的管制是否明智，并且证明竞争性电力市场的成功关键取决于市场设计，需求响应，能力储备，财务风险管理和可靠性控制电力供应链。因此，在将这些想法应用到现实世界之前，在无风险的模拟环境中彻底测试系统和市场设计建议非常重要。

电力交易代理竞争（Power TAC）模拟平台的出现正是为了解决以上问题。Power TAC的运作方式是，相互竞争的团队将建立贸易代理商，充当利己主义的“经纪人”，以实现利润的目的来汇总能源供需。在现实世界中，经纪人可以是能源零售商，商业或市政机构或合作社。经纪人将通过与零售客户（家庭，中小型企业，电动车辆拥有者）的合同以及在模拟真实世界市场（如欧洲或北美的批发电力市场）的批发市场进行交易来购买和销售能源。经纪人彼此竞争，试图通过向匿名小客户群体（家庭，小企业）提供关税合同和向大客户（如重要生产设施，或热电联产（CHP）单位的复合温室）谈判独单独谈判合同来吸引客户。合同条款可能包括对能源消费和生产的固定或变动价格，以及其他激励措施，例如节能回扣，甚至是签约奖金或提前退出处罚。为电动汽车充电可能会有单独的合同，这可能会限制在高需求期间的充电，甚至可以在某些时候向客户支付将能量回馈给电网的费用。可变价格可能遵循固定的时间表(例如，日/夜定价)，或者它们可能是完全动态的，可能有特定的价格变动通知。动态定价可以激励一些客户投资“智能”设备，这些设备可以接收价格信号，并调整能耗以控制成本^[8]。

Power TAC平台主要依赖于经纪人代理的行为来进行运作。我们可以通过仿真模拟的方式来模拟真实条件下代理人可能作出的决策。经纪人代理面临挑战，要通过一系列交替的合约和执行阶段来规划他们在多个时间尺度上的活动^[9]。在签约阶段（计划期限：数周至数月），经纪人必须通过提供关税合同和谈判个别合同来建立他们的消费者、生产者和电动汽车客户的投资组合。在随后的执行阶段（计划期限：数小时到数天），经纪人转向运营层面，平衡其签约用电消费者波动的能源需求与签约能源生产商的实际产出。供需之间的差异必须通过在批发电力市场购买或销售来调节。零售市场的动态因此影响批发市场，反之亦然。该模拟包括一系列的客户模型，包括电动汽车，热电联产，太阳能电池板和风力涡轮机，以及多种私人家庭模型，根据相似的偏好来聚成一类^[10]。我们的目标是，最终通过这些策略上的变化，尽量实现更多的盈利。

1.3 研究内容

本文主要研究Power TAC中broker交易策略，包括对Power TAC平台的介绍以及对broker在市场中运营的策略的设计以及性能的检测。研究的主要内容如下：

1. 对Power TAC平台作一个基本的介绍，详细解释其中的一些术语，介绍进入平台前需做的一些准备工作，描述平台运行的流程，以便描述接下来的策略算法。
2. 研究broker（经纪人）在市场中的交易策略，主要包括批发市场策略和关税市场策略。我们拟采用强化学习的算法，建立马尔科夫决策过程的模型来进行策略的研究。
3. 在算法设计完毕后，将我们的经纪人和Power TAC上其他竞赛者的经纪人放在相同的环境下运行，对比算法之间的优劣。

图1.1 技术路线图

1.4 论文的结构安排

下文的结构安排如下，第二章对本文研究内容所涉及的平台，即PowerTAC竞赛平台作一个简要的介绍，接着，第三章叙述我为解决这个问题所使用到的算法，并详细描述该算法。然后，第四章对研究结果进行分析讨论。最后。第五章对整个文章作一个总结。

第2章 PowerTAC平台简介

2.1 平台运行所需的准备工作

目前，编写经纪人策略的参赛者需要两个主要的组件：模拟服务器和样本代理的来源。为了使用它们，参赛者应当提前在机器上安装1.8及其以上版本的Java开发环境和3.3.0及其以上版本的Apache Maven。需要注意的是，这些组件并不是在某些特定操作系统下（例如Windows）打包好的应用程序，并且当前唯一的用户界面是服务器中基于Web的Visualizer。

除了Java和Maven工具之外，参赛者还需要在自己的计算机上使用精确的网络时间同步，以便在远程服务器上运行代理(比如比赛服务器)。这需要一个有效的NTP守护进程。NTP设置在Linux和Mac系统上很容易，但在Windows上可能不那么容易，特别是在没有完整的管理访问权限下。仅在机器启动时让系统时钟同步是不够的，超过50毫秒的时间偏差会导致消息被忽略，并且在一个长达2小时的模拟会话期间，负载较高的计算机上的时间偏差可能导致代理被断开。用于Windows上NTP同步的一种流行工具是Meinberg软件包，这可能会在平台上运行代理时使用到。

模拟服务器是一个Spring应用程序，其中包含了基于maven 工具框架下的pom.xml文件，以及一个样例配置文件和说明文件，它们一起建立和运行服务器。运行它时，Maven将从Maven Central存储库中提取所有服务器组件和依赖项。

样例经纪人以源代码的形式提供，同时包含了构建和运行经纪人的说明文件。Java版本的经纪人是一个Spring应用程序。在较早的版本中，它被打包为一个独立的核心模块和一组决策服务。这使参赛者可以通过更新Maven配置来使用更新的版本。最新的版本支持许多改进，包括新的容量交易，以及每个时间段中的总生产量和消耗的计算。它还将经纪人核心移到一个单独的模块中，这将使现有的经纪人适应新功能变得更容易。

2.2 平台中术语解释

2.2.1 经纪人

经纪人负责通过提供关税来建立和运营投资组合，并通过在批发市场和平衡市场进行交易来平衡该投资组合内的供求关系。

2.2.2 配电公司和会计服务

配电公司（DU）对拥有和维护配电基础设施的正规专卖店进行建模。在Power TAC的背景下，它是一个中立的第三方，主要负责在每个时间段内平衡供应和需求。所以如果一个经纪人无法平衡其投资组合，DU很可能通过平衡的市场机制来实现。由于它控制着物理基础设施，DU是能够观察到客户实际能源使用情况的一方，同时由于它和传输基础设施联结在一起，它也能观测到实际的电力输入和输出情况。因此，它也控制客户和经纪人收费和付款的会计流程。

2.2.3 批发市场

由日前市场和实时（现货）市场组成，目前市场被视为单一市场。现在有许多市场模式正在使用，从简单的连续双向拍卖（CDA）或定期双向拍卖（PDA）到北美大部分地区使用的更复杂的FERC结构，其中出价包括分段线性供应和需求曲线。由于模拟的时间压缩和网络连接的代理经纪人的可变延迟，因此CDA模型在Power TAC模拟中不可行。因此，市场将作为PDA或呼叫市场运行，每个时间段清算一次，价格由推断的供求函数交叉点确定。

2.2.4 关税市场

经纪人向客户提供关税合同，客户可能会接受或忽略。关税可以指定一些条件，包括最低合同期限，奖励或订购费用，生产和消费电力费率等。收取费用以注册关税并将其分发给客户。

2.2.5 市场数据服务

向经纪人提供有关生产和消费的历史数据，并以各种方式进行汇总。对于经纪人的现有关税订单，还可以在每个时段结束时按小时提供实际生产和消费数据。实际数据的打包和交付可能会与计费服务捆绑在一起。

2.2.6 关税客户

小规模的客户，如家庭或中小型企业，可能是网络供应商或消费者。为了实现合理的可扩展性，大多数（或全部）关税客户都由人口模型来表示。

2.2.7 银行

保留账户以代表经纪人和DU。可能与会计服务捆绑在一起。

2.3 平台的工作方式

游戏模拟了几天的交互。天数受时间段间隔长度（一小时），模拟的最大时间长度（比赛情况约为2小时）和分配给时间段（目标值为5秒）的最小挂钟时间限制。

因此游戏时间表是一连串的日子，每天分成24个一小时的时间段。每个时间段在现实中约占用5秒时间。模拟的整个过程的起止日期必须是不确定的，以防止最终日期被利用以干扰策略。

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：