摘 要

近年来，自动驾驶研究已经成为智能化研究的热点，同时也是传统车辆的向智能化车辆转变的额必经之路。增强学习又称强化学习，是近年来机器学习和智能控制领域的主要方法之一，同样在自动驾驶方面也有很好的应用前景。

本文主要对增强学习在高速公路自动驾驶决策中的应用进行研究。首先对比国内外对智能车的研究现状引出对决策结构体系的介绍，对比后选择基于功能和行为分解的混合体系。接着介绍了几种常见的强化学习的算法，通过对算法的解析进一步了解智能化的本质。然后对车辆进行建模，从运动学和动力学两个方面对车辆进行建模，在建模的基础上，提出了决策中重要环节轨迹规划的引言，并提出了三次曲线规划路径的方法，并独对超车情况进行分析，提出动态轨迹规划的方法，接着对几种常见的路况进行仿真，并用实车来验证。最后模拟了双车道随机路况，用Q-Learning来做超车决策，并仿真验证。

本文通过对各种路况进行轨迹跟踪仿真，并在实车的平台上验证了三次曲线法在车辆动态轨迹规划中应用的可能性与稳定性，同时对双车道超车用Q-Learning做决策的仿真实验，验证了增强学习做自动驾驶超车决策的可行性。

关键词：增强学习 车辆建模 轨迹规划 三次曲线 高速公路

Abstract

In recent years, autopilot research has become a hot topic of intelligent research, and it is also the only way for traditional vehicles to change to intelligent vehicles. Reinforcement learning, also known as reinforcement learning, is one of the main methods in the field of machine learning and intelligent control in recent years. It also has good application prospects in autopilot.

This article mainly studies the application of enhanced learning in highway autopilot decision-making. Firstly, comparing the research status of smart cars at home and abroad, it introduces the introduction of the decision-making structure system. After comparison, it selects a mixed system based on the decomposition of functions and behaviors. Then introduced several common reinforcement learning algorithms, through the analysis of the algorithm to further understand the essence of intelligence. Then the vehicle is modeled and the vehicle is modeled from two aspects of kinematics and dynamics. Based on the modelling, the introduction of the trajectory planning of the important part of the decision is proposed, and the method of the cubic curve planning path is proposed. Independently analyze the overtaking situation and propose a dynamic trajectory planning method. Then simulate several common road conditions and verify with actual vehicles. Finally, a two-lane random road condition was simulated, Q-Learning was used to make overtaking decisions, and the simulation was verified.

In this paper, the trajectory tracking simulation of various road conditions is performed, and the possibility and stability of the application of the cubic curve method in vehicle dynamic trajectory planning are verified on the real vehicle platform, and the Q-Learning for the two-lane overtaking is determined. Simulation Experiments Verifies the Feasibility of Reinforcing Learning to Make Autopilot Overtaking Decisions

Keywords: Reinforcement learning vehicle modeling trajectory planning cubic curve highway

目录

第1章 绪论 1

1.1 课题研究的背景与意义 1

1.2 智能车辆国内外研究现状 1

1.2.1 国内外智能车辆研究现状 1

1.2.2 国外智能车驾驶决策研究现状 2

1.2.3 决策概述与对比选择 4

1.3 本文研究内容与章节安排 6

第2章 典型的强化学习算法研究 8

2.1 强化学习的基本原理 8

2.2 强化学习基本算法 9

2.2.1 基于价值的强化学习算法 10

2.2.2 基于策略的强化学习算法 11

2.2.3 其他强化学习算法 12

2.2.4 算法比较 12

2.3 本章小结 14

第3章 基于车辆模型的轨迹规划 16

3.1 车辆模型搭建 16

3.1.1 二自由度汽车运动学模型 16

3.1.2 二自由度汽车动力学模型 17

3.2 轨迹规划 19

3.2.1 轨迹规划简介 19

3.2.2 基于三次多项式动态最优轨迹规划 19

3.2.3 超车换道动态轨迹规划 24

3.3 不同场景车辆轨迹跟踪实验............................................. 27

3.3.1 Z型换道场景 27

3.3.2 弧形直道场景 28

3.3.3 7型弯道场景 28

3.3.4 S型匝道场景 29

3.3.5 遇障超车实验 30

3.4 本章小结........................................................... 33

第4章 基于双车道与Q-Learning的超车决策仿真研究 34

4.1 方案设计............................................... 34

4.2 算法设计.................................. 35

4.2.1 算法选取及流程 35

4.2.2 Q、R设置 35

4.2.3 其他参数设置 36

4.3 仿真环境搭建及环境基本参数设置 37

4.4 仿真实验结果及分析.......................................................... 37

第5章 总结与展望 41

5.1 总结 41

5.2 展望 41

参考文献 43

致谢................................................................ 45

第1章 绪论

1.1 课题研究的背景与意义

无人驾驶汽车是智能汽车中的一种，通过在车内装载各种传感器如雷达、摄像头等来感知外界信息，在经过信息整合和处理后，自行规划行驶路线并最终达到预先设定的目的地。

经相关部门推断，传统汽车的驾驶模式由人为转化成无人驾驶后可以大范围内减少因驾驶疲劳或不恰当驾驶造成的交通事故，同时数百万因车祸而产生的伤者也将不再出现在医护人员的名单中。而且转为无人驾驶以后吗，汽车的数量可减少90%，伴随着能源损耗和人力资源的损耗都降减低80%；同时因汽车数量的减少，汽车尾气排放的污染物也将大幅度降低。

去年，在硅谷举行的NVIDIA 2017年GPU技术大会（GTC）上，百度智能汽车部门相关负责人表示： 百度智能汽车部门已经将自己定位为符合“阿波罗”计划战略理念的自动驾驶解决方案的领先供应商。 主要侧重于三种特定情况下的自动驾驶解决方案的开发： 第一，高速公路行驶场景； 第二，载客靠边停车场景； 第三，应用于卡车或商用车的自动驾驶。 自动驾驶在初步阶段，需要道路环境相对简单且封闭，道路障碍可控且有序，正好符合高速公路的道路环境，且高速公路的驾驶时间占所有行驶时间的一半以上，有很好的应用前景。 在公路自主驾驶研究课题中，实际车辆实验风险高，耗时长，价格昂贵，实现特殊路况工作条件难度大。为此，建立公路车辆驾驶模拟模型有很高的应用价值。具有大规模连续空间和多个优化目标的高速公路车辆自动驾驶，其控制和决策是一个相对复杂且连续决策的问题，利用传统的动态规划方法已经不能做到很完美地解决出现的问题，甚至可能完全解决不了问题， 机器学习( Machine Learning， ML)的增强学习（ Reinforce Learning）却已经在该方向上研究颇深并已投入应用。

1.2 智能车辆国内外研究现状

1.2.1 国内外智能车辆研究现状

近年来，对智能汽车的研究已经渐入佳境，离散、小规模的智能驾驶系统已经被攻克，系统化、大规模已经成了当前的研究方向。在科学界和工业界，许多研究机构已经开发出具有以下代表性的智能汽车：1985年由德国联邦大学开发的VaMoRs智能原型车在室外高速公路上以100公里/小时的速度进行了测试，汽车的横向和纵向控制是由机器视觉来实现。1988年，在都灵PROMRTHEUS项目的第一次委员会会议上，可以自动启动、行驶、停车，并可以实现和他车通讯，传递本车状态的智能车Vita（VITA，7t）亮相。同时这两款车的感知系统，都是具有极高稳性的UBM视觉系统，这也是一个双目视觉系统，相对于单目系统而言，其对路况信息的定位更为精确，安全措施也更高。运输工厂货物是荷兰智能车的研究方向，它与其他车不同的是：它在其行驶的道路上使用磁性导航参考，并使用光学阵列传感器来检测障碍物。 目前荷兰南部正在讨论这种系统的工业使用问题。日本大阪大学Shirai实验室开发的智能车的定位是由旋转编码器和电位器获取智能汽车的转向角度经过处理后确定的，这也是航位推算系统应用到智能车上典范。近年来，自主车辆研究取得突破性进展：2016年9月1日，全球首条无人驾驶巴士线在迪拜启用;EZ10是一款10座无人驾驶汽车。 EZ10的地理位置距离中心约700米，其最高时速和巡航时度可达40公里和25公里，已经可以基本满足对速度的要求了。 由Navya开发的Arma无人驾驶汽车，则是在装载人员上做出调整，可携带15名人员，目前已经在法国的一些封锁地区运营; EasyMile开发的EZ10无人驾驶汽车已在美国，芬兰，法国和德国进行过测试; AuroRobotic位于加利福尼亚州，其目标是在校园，营房和老年人社区等24小时需求汽车的地方开办无人班车;第一个使用IBM Waston认知学习平台的汽车是 LocalMotor开发的Olli无人驾驶巴士，其用于学校和城市交通网络无法覆盖的地方。