摘 要

交通信号灯是城市交通系统的重要组成部分，随着城市的不断发展与扩大，城市中机动车的数量也在不断的增加，因此传统的交通灯控制方式已经不能够满足日益增长的交通流量，造成较为严重的交通拥堵问题，严重的时候甚至造成交通事故。强化学习作为机器学习的一个分支，由于其无需提前知道环境的特点已经在国内外的很多研究中与交通灯的智能控制相结合，推动城市智能交通的建设与发展。本文设计了一种基于强化学习的智能交通灯控制方法，并设计了相应的测试与训练平台。本文主要包含以下内容：

1. 基于SUMO的单十字路口交通仿真环境的设计，并提出了一种交通流的模拟方法。
2. 基于Python语言的强化学习智能体设计，并通过Keras库设计了一个深度神经网络用于实现不同的强化学习算法。
3. 对十字路口的模型进行了定义，定义了强化学习所必需的状态空间、动作空间及奖励函数，通过Traci接口获取环境中的相关数据并与环境进行交互。
4. 设计了一种强化学习智能体的训练与测试方法，将智能交通灯的性能与传统交通灯进行了比较与分析。

关键词： 强化学习；交通信号灯；深度学习；智能交通

Abstract

Traffic lights are an important part of the urban traffic system. With the continuous development and expansion of the city, the number of motor vehicles in the city is also increasing. Therefore, traditional traffic light control methods have been unable to meet the increasing traffic flow, resulting in More serious traffic congestion problems, even serious traffic accidents. Reinforcement learning, as a branch of machine learning, has been combined with the intelligent control of traffic lights in many studies because it does not need to know the characteristics of the environment in advance, to promote the construction and development of urban intelligent transportation. This thesis design an intelligent traffic light control method based on reinforcement learning, and design the corresponding testing and training platform. The contents of this thesis are summarized as follows:

(1) Design of the traffic simulation environment of single intersection based on SUMO, and a simulation method of traffic flow is proposed

(2) Design of reinforcement learning agent based on Python language, and a deep neural network is designed through Keras library to implement different reinforcement learning algorithms.

(3) Define the model of the intersection, define the state space, action space and reward function necessary for reinforcement learning, obtain the relevant data in the environment through the Traci interface and interact with the environment.

(4) Design a training and testing method for reinforcement learning agents, and compare and analyze the performance of intelligent traffic lights with traditional traffic lights.

Key Words：reinforcement learning; traffic lights; deep learning; intelligent transportation

目 录

摘 要 I

Abstract II

第一章 绪论 1

1.1强化学习发展背景 1

1.2国内外的研究现状 1

1.3本课题的意义 2

第二章 总体方案设计 3

2.1任务目标 3

2.2交通仿真环境总体设计 3

2.3强化学习智能体总体设计 4

2.4智能交通仿真训练平台总体设计 4

2.5本章小结 5

第三章 交通仿真环境设计 5

3.1 十字路口仿真环境设计 5

3.1.1 交通控制基本参数 5

3.1.2 交通灯性能指标 6

3.1.3 十字路口道路设计 6

3.1.4 交通灯相位设置 7

3.2 交通流的模拟方法 9

3.2.1 韦布尔分布 9

3.2.2 车流控制 9

3.3 本章小结 10

第四章 强化学习智能体设计 11

4.1 强化学习基本概念 11

4.1.1 智能体的概念 11

4.1.2 马尔科夫决策过程 12

4.1.3 动作选择机制 12

4.2 强化学习主要算法 13

4.2.1 Q-learning算法 13

4.2.2 Deep Q-learning算法 13

4.2.3 DQN算法 14

4.3单十字路口模型的定义 16

4.3.1 状态空间的定义 16

4.3.2 动作空间的定义 17

4.3.3 奖励函数的定义 18

4.4本章小结 18

第五章 智能交通仿真训练平台设计 19

5.1智能体训练过程设计 19

5.2.1 深度神经网络的设计 19

5.2.2 经验回放功能的实现 20

5.2.3 训练流程设计 21

5.2智能体测试过程设计 24

5.3本章小结 24

第六章 实验结果分析 25

6.1训练结果分析 25

6.1.1 贴现因子γ对训练过程的影响 25

6.1.2 学习率对训练过程的影响 27

6.1.3 不同算法训练过程的比较 28

6.2测试结果分析 29

6.2.1 积极奖励的比较 29

6.2.2 总等待时间的比较 30

6.2.3 车辆排队长度的比较 31

6.3本章小结 32

第七章 总结与展望 33

7.1设计总结 33

7.2工作展望 33

参考文献 34

致谢 36

第一章 绪论

1.1强化学习发展背景

强化学习作为机器学习的一个分支，由于其不要求预先给定任何数据而是通过接收环境对动作的反馈来获得学习信息并更新模型，因此被广泛应用于不需要大量训练集的场合，其中比较著名的就是AlphaGo在围棋领域的大展身手。强化学习有“奖励”、“行为”和“状态”三个要素，强化学习模型通过观察当前环境的状态选择一个所获奖励最大的行为，在与环境不断的互动过程中逐渐得到一种最佳的策略，然后再用这种策略与环境进行互动来不断学习。交通信号灯工作的方式满足强化学习对于环境的要求，因此可以将强化学习与交通灯相结合解决路口处的车流量控制问题，推动智能交通的应用与发展。

1.2国内外的研究现状

随着机器学习的发展和智能交通的普及，国外的很多学者已经着手于将机器学习的各种算法与交通信号控制相结合，而又由于强化学习不需要训练集，更加适合于交通领域，因此有关强化学习的智能交通控制方面的研究层出不穷，L. Prashanth和 S. Bhatnagar提出了一个基于强化学习的交通信号控制系统，将车辆排队长度和信号灯亮灯时长作为状态并使用线性函数近似得到Q值^[1]； Hamamreh和Ayyad提出了基于强化学习的协同交通信号灯控制系统，建议对车辆进行聚类并使用线性函数用于近似得出Q值^[2]。

以上的这些研究存在着一些局限性，因为一个复杂的交通系统不能仅仅通过几个简单的参数就进行完整的呈现，许多存在于细节之处的有用信息和问题都被忽略了，因此此时的交通灯智能控制还停留在理论层面，无法在实际道路场景中发挥有效作用。随着深度学习的发展，有学者开始将强化学习和深度学习相结合，将深度神经网络应用于强化学习之中，比如DQN算法就是与神经网络结合之后的Q学习算法，Jincheol Lee和Jiyong Chung通过将交叉路口分成比较小的网格来将复杂的交通场景进行量化，并使用卷积神经网络将奖励与状态建立联系^[3]。因此目前国外研究的主流就是将与深度学习结合后的强化学习应用于交通信号控制的场景，它比传统的强化学习有着更好的效果，这也是未来智能交通发展的一个方向。