1. 研究目的与意义（文献综述）

1.1研究背景：

船舶避碰是一个很久以前就有的课题，许多学者提出了不同的解决方案，利用基于ais的船舶避碰智能决策，利用智能算法基于进化遗传算法的船舶避碰，基于贝叶斯网络的船舶避碰算法等，这些算法可以解决很多船舶避碰的问题，但无法综合考虑复杂海况下的不同的环境的影响，比如风力，风向的改变，海浪对船的影响，本课题采用强化学习的方法来解决这些问题。

近年来强化学习效果显著，强化学习(reinforcementlearning, 又称再励学习, 评价学习)是一种重要的机器学习方法, 在智能控制、机器人及分析 预测等领域有许多应用。随着近几年深度学习的发展，演化出了深度增强学习这一种新的算法，深度增强学习deep reinforcement learning是将深度学习与增强学习结合起来从而实现从perception感知到action动作的端对端学习的算法。

2. 研究的基本内容与方案

2.1基本内容（功能）：

本次设计开发利用强化学习实现避碰算法的智能化，主要是旨在规定的航道内对障碍物进行避碰，面临突发事件进行及时反映，比如突然出现的障碍物，两辆相向船的避碰，航线交叉和追越等情况，考虑风力，风向的改变等现实因素的影响。输出合适的避让方式，避让幅度，避让时机，调整合理的避让角度，防止因现实因素影响实际避让结果，利用传感器的数据进行训练，并通过最后获得的reward来进行结果判定。

输入模块：将船体数据，环境数据输入

3. 研究计划与安排

2018.1.14—2018.2.22：查阅参考文献,确定选题，

2018.2.23—2018.3.05：查阅文献，外文翻译和撰写开题报告；

2018.3.06—2018.4.30：系统架构、程序设计与开发、系统测试与完善；
2018.5.1—2018.5.25：撰写及修改毕业论文；
2018.5.26—2018.6.6：准备答辩。

4. 参考文献（12篇以上）

[1] 张汝波, 周宁. 基于强化学习的智能机器人避碰方法研究[j]. 机器人, 1999,21(3):204-209.
[2] 杨溢, 庞永杰, 李宏伟,等. 复杂海况下基于强化学习的usv局部路径规划方法研究(英文)[j]. journal of marinescienceamp;application, 2014(3):333-339.
[3] 张汝波, 唐平鹏, 杨歌,等. 水面无人艇自适应危险规避决策过程收敛性分析[j]. 计算机研究与发展, 2014, 51(12):2644-2652.
[4] 周鹏程. 基于强化学习的智能机器人避碰方法研究[j]. 消费电子, 2013(18):174-175.
[5] 朴松昊, 洪炳熔. 一种动态环境下移动机器人的路径规划方法[j]. 机器人, 2003,25(1):18-21.
[6] 施平安, 陈文伟, 王敬全,等. 基于神经网络的复合避碰专家系统研究[j]. 航海技术, 2001(6):2-5.

[7] playing atari with deep reinforcement learning，v. mnih et al., nips workshop, 2013.

[8] human-level control through deep reinforcement learning, v. mnih et al.,nature, 2015.