论文总字数：20299字

摘 要

增强学习是目前机器学习领域的热点研究方向，也是智能时代必不可少的应用工具，在现今智能化船舶的发展中更是起到关键作用。而船舶，特别是运输船舶的主机动力特性响应非常特殊，是一个既与主机本身相关，又与船舶动力学特性耦合的复杂系统。利用深度增强学习解决船舶的自主航行，需要首先克服这一复杂系统的建模问题。针对内河的感知条件受限、交通拥挤、带状水域和船体肥大欠驱动、河段感潮等特点，探索适合内河船舶航行的增强学习框架。基于这一框架，借鉴人工操纵的历史数据，建立面向博弈与实时反馈的主机操作图谱、基于数据模型、操纵性预测，建立主机响应模型，并支撑数值模拟船、实船的操作响应模型。为深度增强学习突破船舶驾驶意识建模奠定基础。故增强学习在智能化船舶的应用当中需要考虑到船舶动力系统的影响，但现有船舶动力系统模型的精度不足以满足增强学习的需要，无法为增强学习在智能船舶上的应用提供良好环境，故应通过对现有动力系统建模情况的研究对比提出一种更为精准的动力系统响应性模型。本文首先介绍了智能船舶、增强学习和响应建模的基础理论，其次对增强学习在智能船舶上的应用情况、动力系统建模现状以及智能船舶响应建模方法分别进行了综述，最后提出了面向增强学习的主机响应建模方法并讨论了它的应用前景。

关键词： 增强学习；智能船舶；响应建模；船舶动力系统

Abstract

Reinforcement learning is currently a hot research direction in the field of machine learning, and it is also an indispensable application tool in the intelligent era. It plays a key role in the development of intelligent ships today. The dynamic characteristics of the main engine of the ship, especially the transport ship, are very special. It is a complex system that is not only related to the main engine itself, but also coupled with the dynamic characteristics of the ship. To use deep enhanced learning to solve the autonomous navigation of ships, it is necessary to overcome the modeling problem of this complex system first. Aiming at the characteristics of inland rivers, such as limited perception conditions, traffic congestion, ribbon waters and under-driving of hull hypertrophy, tide-increasing tide, etc., an enhanced learning framework suitable for inland river navigation is explored. Based on this framework, drawing on the historical data of manual maneuvering, a game operation and real-time feedback oriented host operation map is established, based on the data model and maneuverability prediction, a host response model is established, and the operation response model of the numerical simulation ship and real ship is supported. It laid the foundation for the deep enhanced learning to break through the ship driving awareness modeling. Therefore, the application of reinforcement learning in the intelligent ship needs to consider the influence of the ship's power system, but the accuracy of the existing ship power system model is not enough to meet the needs of reinforcement learning, and it cannot provide a good environment for the application of reinforcement learning on smart ships Therefore, a more accurate dynamic system responsive model should be proposed through the research and comparison of the existing dynamic system modeling. This article first introduces the basic theory of intelligent ships, reinforcement learning and response modeling. Secondly, it summarizes the application of reinforcement learning on intelligent ships, the current status of power system modeling and the methods of intelligent ship response modeling. The host learning response modeling method of reinforcement learning and its application prospect are discusse

Keywords ： reinforcement learning；intelligent ship

response modeling；ship power system

目 录

第一章 绪论 1

1.1 研究背景及意义 1

第二章 面向增强学习的主机响应建模基础理论 3

2.1 智能船舶 3

2.2 增强学习 4

2.3 响应建模 4

第三章 研究现状及实际应用 5

3.1 智能船舶发展现状 5

3.2 增强学习在智能船舶领域应用 6

3.3 响应建模研究现状及应用 8

3.3.1 船舶动力系统建模仿真研究现状 8

3.3.2 船舶动力系统响应建模研究现状 11

3.3.3 当前模型面临的问题 12

3.3.4 面向增强学习的的主机响应建模方法研究 12

第四章 结束语 14

参考文献 15

致谢 18

第一章 绪论

1.1 研究背景及意义

不同于第一次蒸汽革命、第二次电力革命促成工业时代的到来，第三次的计算机革命更是进一步解放了人类的思想，既联系了全世界也促成了虚拟社会的形成，而第四次工业革命的代表将是人工智能技术的兴起和发展，这也是21世纪的我们所要追求的目标和奋斗的方向，智能化的趋势逐渐流行开来并深入到整个社会的各行各业，乃至千家万户。在当今经济全球化的趋势下，贸易运输蓬勃发展，更加要求运输方式的进一步转变和提高。而作为重要运输方式的航运业也正顺应发展潮流，不断改进航运的运输效率，并将智能船舶的研发提上日程，开启航运业的智能化时代。不同于以往船舶存在人力成本高、污染问题明显、船舶运行过程精度较差等问题，新型智能船舶可结合计算机、通信、人工智能等技术，实现安全、高效、无人化航行方式，有效解决旧有方式存在的弊端，因此智能船舶也成为了当今中国乃至全世界智能运输方式发展的潮流，并促使了全球范围内各国家加大对该领域技术问题的关注和投入。我国也对该领域有所关注，在文件里将高技术船舶列为十大重点领域当中，足以见得国家对智能船舶的重视，也必将促成智能船舶在我国的快速发展。

在发展高技术船舶的氛围中，机器学习也越来越引起国内外研究者的重视，而作为其中一个领域的增强学习也跃入眼帘。增强学习可以通过与环境不断交互而获得累计的收益以及不断调整的行动方案，避免了人工定义状态特征带来的不准确性。运用增强学习即可处理复杂和多面的决策问题，基于环境而行动取得最大化的预期利益从而做出最优决策。例如一种基于增强学习智能算法的航海船舶运动控制方法技术等显著例子，将增强学习与现代智能船舶相结合正是现在发展的趋势，也广泛被国内外船舶行业研究人员所熟知。而增强学习在智能船舶的应用类型也十分广泛，例如船舶航线的智能规划、自动避障和船舶动力系统的智能管理，推动着新一代人工智能技术与船舶的深层次融合，以达到智能化、无人化、绿色安全的新目标。

船舶的动力系统可谓是船舶运行的基础和动力，也是进一步保证船舶正常航行、作业、战斗的必要条件。在船舶上面这是一个极为复杂的耦合系统，影响着智能船舶的方方面面，这就要求我们在关注智能船舶整体智能系统领域开发的同时也要关注到作为动力来源的船舶动力系统。因此面对船舶智能化的浪潮，我们有责任关注船舶动力系统的智能化处理，建立各种模型以实现增强学习在智能船舶上的良好应用，更能满足现在智能船舶领域相关理论快速发展但缺乏实际有效验证的情况，模拟“真实的动力系统系统环境”为实现评估、验证智能船舶实际情况提供研究基础。

我们应该更加积极的应用增强学习解决船舶智能控制、路径规划等问题，推动船舶的快速智能发展，推动建立适合内河和远洋船舶航行的增强学习框架。但在将增强学习应用船舶领域时需要关注并考虑船舶动力系统的影响，即为了给增强学习提供合适的应用环境，我们需要关注现存船舶动力系统建模情况，对于现有船舶动力系统建模进行调查研究。针对现有模型延迟滞后的问题，我们需要构建面向增强学习的动力系统响应性模型，通过建立响应性模型输入动作精准预测每一秒的状态，精准描述船舶的运动情况。最终基于增强学习框架，借鉴人工操作的历史数据，建立面向博弈与实时反馈的主机操作图谱、基于数据模型和操作性预测建立主机响应模型。当面向增强学习的响应性模型达到更为精准的预测能力时，我们就可以根据此模型加强增强学习的应用能力，使船舶控制、规划等各部分达到最优解，这对于智能船舶动力系统的未来及进一步的无人操作和自我决策具有十分重要的科学和现实意义。

第二章 面向增强学习的主机响应建模基础理论

2.1 智能船舶

国际上由（IMO）最先提出关于智能船舶的定义，即在2006年整体提出的（e-Navigation）的基础概念：通过电子信息手段，在船上和岸上收集、整合和显示海事信息，实现船—船、船—岸和岸—岸之间信息的相互沟通，以达到船舶安全、经济航行和环境保护的最终目标^[1]。通过这个基本概念我们可以注意到“电子信息手段”、“整合信息”、“船-岸沟通”等要点，这也是智能船舶最初发展的基本目标。而现今国内外对于智能船舶的最新定义已经在一定范围内达成一致，但对于传感器、人工智能、操作方式等细节仍有一定的差异。例如对于智能船舶的定义中外就有很大区别，中国船级社（CCS）在《智能船舶规范》当中对于智能船舶的定义为：“系指利用传感器、通信、物联网、互联网等技术手段，自动感知和获得船舶自身、海洋环境、物流、港口等方面的信息和数据，并基于计算机技术、自动控制技术和大数据处理和分析技术，在船舶航行、管理、维护保养、货物运输等方面实现智能化运行的船舶，以使船舶更加安全、更加环保、更加经济和更加可靠”；而挪威船级社（DNV）则是将智能船舶定义为应用实时数据传输的汇集、大计算容量、数字建模能力、远程控制、传感器等信息化技术，并对船舶安全产生显著影响的船舶^[2]；英国船级社（LR）主要将智能船舶进行不同等级的分类和定义，将其按照智能化程度的不同分为三代，这三代船舶仍需要人在船上，不管船舶是半自动的还是全自动的，可能与一个离岸中心建立连接，第四代智能船舶将实现全自主化的无人驾驶^[3]。近年来国内和国际海事组织对于智能船舶的规范更是发布了相关文件，中国船级社（CCS）在2016年3月发布了《智能船舶规范》，2017年7月发布了《船舶网络系统要求及安全评估指南》，2018年5月发布了《智能集成平台检验指南》，最终与2020年发布了《智能船舶规范（2020）》；与之相对应的是世界海事组织（International Maritime Organization，IMO）于2017年将智能航运列为新增议题，启动全球规范标准讨论，2018年4月在第99届海安会明确了发展水面自主航行船舶，并进一步明确了启动国际航运法规的梳理和修订工作；IMO又在次年6月发布了《水面自主船舶的试航暂行指南》，明确了水面自主船舶的试航要求，保障试验的安全和效率。这一切都标志着智能船舶的时代正在来临，相关定义与指导意见不断改进和发展。

2.2 增强学习

作为机器学习一个重要分支的增强学习是当今发展的前沿方向，增强学习主要用来实现最优目标和利益最大化的问题，通过不断调整相应策略达成目的，在状态指定的情况下采取何种方法使收益最大化。而强化学习最基本的对应模型就是马尔科夫决策过程（Markov Decision Process, MDP），主要是指对行动方案a、状态s、奖赏r和当前状态有很多限制，其结构图如下图1所示。

图 1 增强学习示意图

请支付后下载全文，论文总字数：20299字