基于机器学习的AIS数据处理方法研究毕业论文
2020-02-15 22:09:44
摘 要
当今世界经济飞速发展，经济全球化的步伐已经不可阻挡，各国之间繁忙的经济交流，导致海上交通流量迅速增长，在促进经济发展的同时，也使得各航行水域所承载的负担增大，航道变得拥挤。这样的大背景下，由交通繁忙、航线复杂、天气影响、船舶操纵以及人为因素引发的事故逐渐增多，并且造成了巨大的经济损失。各国的海事组织及相关的海事部门提高决策水准势在必行，其中的一个关键问题就是对船舶交通流以及航迹的进行特征分析和预测，为船舶异常行为预测和交通组织优化提供决策和支持。
本文利用机器学习的方法，对采集的AIS数据进行处理并提取船舶的轨迹数据进行异常轨迹剔除和轨迹预测研究。具体地研究工作包括：首先，选择目标水域，收集该水域的AIS数据，并提取船舶轨迹数据；其次，采用DBSCAN算法提出异常轨迹剔除方法，实现异常船舶轨迹的清洗，从而得到干净的船舶轨迹数据集；然后，基于BP神经网络设计了轨迹预测模型，提出一种船舶轨迹预测方法。最后，在每个方法提出之后，都采用真实的轨迹数据进行验证，给出了验证结果和误差分析。研究的结果对船舶轨迹聚类分析、可视化以及热点航迹挖掘具有很好的铺垫，对航线规划和水上交通安全管理具有一定的指导作用。
关键词：AIS数据；船舶轨迹；DBSCAN；BP神经网络；轨迹预测
Abstract
With the rapid development of the world economy, the pace of economic globalization has become unstoppable. The busy economic exchanges among countries lead to the rapid growth of maritime traffic flow, which not only promotes economic development, but also increases the burden borne by navigation waters and makes navigation channels crowded. In this context, accidents caused by heavy traffic, complex routes, weather, ship handling and human factors are gradually increasing, and have caused huge economic losses. It is imperative for maritime organizations and relevant maritime departments of various countries to improve the decision-making level. One of the key problems is to analyze and predict the characteristics of ship traffic flow and track, so as to provide decision-making and support for the prediction of ship abnormal behavior and the optimization of traffic organization.
In this paper, the method of machine learning is used to process AIS data collected and extract ship track data for abnormal track elimination and track prediction research. Specific research work includes: First, select the target water area, collect AIS data of the water area, and extract ship track data; Secondly, DBSCAN algorithm is used to put forward the method of abnormal track elimination, so as to realize the cleaning of abnormal ship track and obtain clean data set of ship track; Then, the trajectory prediction model is designed based on BP neural network, and a method of ship trajectory prediction is proposed. Finally, after each method is proposed, real track data are used for verification, and the verification results and error analysis are presented. The research results have a good foundation for ship track cluster analysis, visualization and hot spot track mining, and have a certain guiding role in route planning and water traffic safety management.
Key words: AIS data; Vessel trajectory; DBSCAN; BP neural network; Trajectory prediction
目 录
第1章 绪论 1
1.1 研究背景 1
1.2 研究的目的和意义 1
1.3 国内外研究现状 2
1.3.1 AIS数据应用现状 2
1.3.2 目前主要方法研究 2
1.3.3 机器学习方法在AIS数据处理中的应用 3
1.3.3 本文研究方法介绍 3
1.4 论文研究内容 4
第2章 AIS数据的获取 6
2.1 原始AIS数据来源 6
2.2 AIS数据解码 7
2.3 AIS数据分类 9
2.4 轨迹特征数据提取 9
2.5 本章小结 10
第3章 船舶异常轨迹数据剔除 11
3.1 船舶异常轨迹数据分析 11
3.2 DBSCAN算法介绍 11
3.3 基于DBSCAN的异常轨迹剔除模型 12
3.4 实验结果分析 13
3.5 本章小结 14
第4章 船舶轨迹预测 15
4.1 BP神经网络介绍 15
4.2 基于BP神经网络的船舶轨迹预测模型 16
4.3 实验结果分析 18
4.4 本章小结 19
第5章 总结与展望 21
5.1 总结 21
5.2 展望 21
参考文献 22
附录 23
附录A DBSCAN的MATLAB代码 23
附录B BP神经网络的MATLAB代码 23
致谢 24
- 绪论
1.1 研究背景
在现代全球化的经济中，远洋运输成为远距离运输大宗商品最高效的方式。世界经济的持续增长，导致海上运输需求增加，运输速度加快，船舶数量不断增长。海上船舶数量激增带来贸易繁荣，但也容易造成水上交通安全问题，如航线负担，船舶自身问题等引起的航道拥挤和事故，使船员的生命和财产安全受到威胁。海上运输需要重点考虑航行安全问题。
随着水上交通运输的快速发展和航海信息技术的迅速进步，船舶数据特别是AIS数据呈现爆炸式增长。这些海量的AIS数据蕴含有丰富与海上交通有关的物流、航运等信息。但是由于一些原因，比如不同船舶报告AIS数据时间间隔有不同的标准要求；船舶自身安装的传感器的局限，船舶发送的动态信息并不准确；以及其他可能存在的情况，导致了收集到的AIS数据的准确性难以得到保证。AIS数据中含有丰富的隐藏信息，并且通过表面的AIS数据并不能直观的反映出我们想要得到的信息，需要进行深层次的挖掘。
机器学习是人工智能的基础技术，伴随着人工智能几十年的发展，机器学习的研究方法已经走出了实验室的大门，被应用到了各行各业。而且数据分析和数据挖掘与机器学习的一些方法契合度非常高，因此利用机器学习方法来处理AIS数据，发展前途相当的广大。
1.2 研究的目的和意义
本文进行研究的主要目的是针对目前所收集的船舶的AIS轨迹特征数据存在的部分异常点的清除问题和对经过处理的预处理船舶AIS轨迹特征数据的简单挖掘。拟采用聚类分析算法对船舶的轨迹特征数据进行预处理，然后采用神经网络的方法建立船舶轨迹预测模型。
把船舶AIS轨迹特征数据作为主要的处理和加工的对象，利用采用基于密度的聚类思想对轨迹特征数据中的异常轨迹数据进行清洗，保证轨迹数据的准确性，作为对船舶轨迹特征数据的预处理，方便进行下一步的数据挖掘提供便利。然后可以采用前馈神经网络中的BP神经网络,进一步对预处理过的轨迹特征数据数据进行挖掘，发现船舶轨迹特征数据中的隐含信息，在此基础上研究适用于船舶轨迹预测的算法模型。航迹预测模型可以应用在异常航线预警、船舶航线规划等一些方面，进而达到保障船舶在可航水域安全、经济、高效的航行，这对于目前提高船舶的航行效率，降低船舶的营运成本，避免一些海上交通事故的发生，比如船舶碰撞，船舶搁浅等，具有重要意义，并且符合当前时代的要求。
1.3 国内外研究现状
对于目前国内外对于船舶轨迹特征数据的研究，由于海事技术和设备管理的发展，海上轨迹的研究相对落后于陆路运输研究，所以对于海上船舶轨迹方面的研究目前还比较少。但是AIS技术经过这些年，已经得到了飞速的发展。大部分的船舶对AIS系统进行了更新，安装了综合完整性检测的传感器，使得AIS数据，尤其是一些船舶轨迹特征数据比如航向，航速的完整性得到大幅度的提高。对于AIS的数据管理也逐渐趋于标准化，确保了AIS输入信息的准确性。随着大数据时代的到来，AIS数据也跟随时代的潮流融入了这个大数据时代的背景，AIS数据已经完全实现了在网络上的共享。海事管理人员和研究人员可以轻松的获取AIS数据，并对其进行深入的研究，这使得AIS数据的研究进度大幅度加快，各种研究方法，被大量应用到了AIS数据处理中。
1.3.1 AIS数据应用现状
这些年来，随着世界经济一体化的蓬勃发展，船舶数量急剧增加，使得海况变得繁杂，更加严峻的情况摆在海事部门和管理人员的面前[1]。对AIS数据进行深度的研究 ，挖掘可以有效的帮助海事管理人员应对这些逐渐复杂的情况。诸如AIS配合卫星监测技术、AIS数据应用于船舶的到港时间预测[2]、AIS数据应用于海区通航危险度决策分析[3][4]等方面的研究都在有条不紊的进行。除此以外，基于船舶的轨迹特征数据[5]，对船舶轨迹进行预测也是一个热门的研究方向。
1.3.2 目前主要方法研究
目前，滤波算法AIS数据的清洗中运用的比较多，其主要方法就是设定一个初始的阈值，建立一个阈值空间，然后输入AIS数据，对于不在阈值空间的数据进行过滤，清洗异常数据，但是滤波算法的阈值空间的建立相对比较麻烦，并且无法对阈值空间内的偏离轨迹点进行清除。自组织映射模型首先需要对船舶轨迹进行聚类，然后利用高斯混合模型进行建模，进而对船舶的行为进行检测，弹道异常轨迹数据清楚的作用船舶轨迹数据压缩是进行船舶轨迹预测的一个常用方法。船舶轨迹数据压缩的方法主要有垂距限值法、光栏法和道格拉斯-普克（Douglas-Peucker, D-P）等算法。垂距限值法虽然原理简单且压缩速度快，但对于弯曲程度较小，幅度较平缓的曲线，其表现出的压缩效果较差。光栏法的计算量较小，但是压缩效果不明显。D-P算法能全面考虑曲线的整体特征，但是计算量比较大。运动模式统计分析也是进行船舶轨迹预测的一个方法，在对AIS数据运动模式进行统计分析的基础上进行轨迹预测，这种算法比较原始，误差较大。
1.3.3 机器学习方法在AIS数据处理中的应用
李永攀，刘正江，郑中义[6]等，在DBSCAN算法基础上综合考虑时间和空间要素，提出船载AIS数据时空聚类算法，并对实际数据开展分析。刘磊、蒋仲廉、初秀民、钟诚、张代勇[7]等针对船舶AIS数据丢失或错误等问题，借助分段三次 Hermite插值实现AIS数据初步修复或预测，建立神经网络训练集和测试集，开展单点和连续多点AIS数据修复和预测；对比分析了BP神经网络与三次样条插值、分段三次Hermite插值方法在船舶AIS数据修复和预测中的精度。杨博辰[1]AIS以原始的AIS数据作为研究的样本，对原始的AIS数据相继进行AIS数据解码，AIS数据预处理等处理工作，然后结合神经网络的方法和深度学习的方法，对船舶轨迹进行预测，并且研究适用于船舶轨迹预测的算法模型，提出并改进了一种轨迹预测模型。最后对预测模型进行实验，得出相应的误差进行分析。最后对航迹预测模型在异常预警、航线规划等方面的应用进行了研究。肖潇[8]等学者对相似度度量方法进行创新，在轨迹聚类过程中融入了位置信息与航向信息，使聚类结果中各簇能更好地区分船舶进出航道的轨迹。徐婷婷，柳晓明，杨鑫[9]等基于AIS数据，利用BP神经网络提出了一种能够连续实时预测船舶的轨迹的算法模型，并且以某条船舶的数据为例，改变神经网络的训练参数，对比实验结果，进行验证，最后的实验结果表明他们提出的船舶轨迹预测模型所预测的轨迹和实际的观测轨迹基本一致，误差在可接受的范围，所以能够较好的预测船舶轨迹。在国外，机器学习的方法也被广泛的应用到了AIS的数据处理之中，比如Kraiman[10]等人提出利用自组织映射模型对船舶轨迹进行聚类，再用高斯混合模型进行建模，进而对船舶行为进行检测，对于那些明显异常的船舶轨迹可以进行识别并剔除；Berl提出的是基于关联神经网络的方法，对船舶的轨迹特征数据（位置、航速、航向）进行建模学习，然后进行实验分析，最后根据实验结果把模型用于预测船舶行为。
1.3.3 本文研究方法介绍
本文主要采用两种机器学习的方法，一是聚类分析中的DBSCAN算法，二是前馈神经网络中的BP神经网络算法。在聚类分析的集中聚类方法中，基于密度的方法可以非常方便的数据中的离群点进行检测和过滤，而DBSCAN算法是基于密度的聚类方法中最常用的算法，运用此算法对船舶的异常轨迹数据进行清洗，不但方便，易于实现，而且结果清晰，一目了然。利用BP神经网络对AIS轨迹特征数据进行挖掘，以达到轨迹预测的目的，这种算法模型较为简单，而且易于实现，并且适用性较为广泛。
根据论文的研究内容和方法，设计研究技术路线图如下图1.1所示。
图1.1研究技术路线图
1.4 论文研究内容
本文围绕一种机器学习的AIS数据处理展开研究，主要内容包括：
第一章，介绍论文的研究目的和意义，并从AIS数据的应用现状和机器学习方法在AIS数据处理中的两个方面阐述了船舶轨迹的国内外研究现状；
第二章，以从学院AIS大数据实验室平台收集到的长江口水域的部分AIS原始数据为例，因AIS原始数据以压缩码的形式进行存储，所以要先对其进行解码处理从而获得简单易读懂的十进制数据，并从中提取出船舶的轨迹特征数据从而能够顺利开展下一步的工作。
第三章，主要介绍了聚类分析的概念以及聚类分析方法的种类，重点介绍了本文主要需要使用的关于密度的聚类方法，介绍了关于密度聚类的一种主要算法DBSCAN算法的概念以及原理，提出了筛选异常AIS数据的DBSCAN算法过程。以从学院AIS大数据实验室平台收集到并完成解析的长江口水域的部分AIS原始数据为例，对其进行数据处理。
第四章，本章主要介绍BP神经网络的概念，以及原理，提出了神经网络训练的基本步骤。然后以上文中处理过的AIS数据为数据库，从中提取某一船舶一段时间内的AIS数据，并以此建立训练的样本集，建立训练算法，并以此预测下个时间点的船舶轨迹。
第五章，论文的总结与展望。对本文的主要研究内容，所涉及算法及其应用进行了总结，并对后续研究的开展提出了展望。
- AIS数据的获取
2.1 原始AIS数据来源
船舶自动识别系统（Automatic Identification System）简称AIS，由岸基系统和船台系统两部分组成，同时还包括利用和使用AIS信息的各种应用系统。AIS系统定期播发船舶信息、航行信息以及其他与安全有关的信息[11]，这些信息可以由船载收发器和地面基站或卫星基站接收。AIS数据一般可以按照不同的间隔时间更新数据，更新的数据自主的发送,根据相关的AIS报告规定，静态的数据以及与航次有关的数据一般每6分钟发送一次，或者在需要发送或者相关管理人员要求发送时，而动态信息的发送间隔与船舶的动态，即船舶航速和船舶的航向有关，具体的间隔时间如下表。
表2.1 动态信息的报告速率
船舶的航行状态 | 报告间隔 |
锚泊船 | 3min |
航速为0-14kn的船舶 | 12s |
航速为0-14kn并且航向正在改变的船舶 | 4s |
航速为14-23kn的船舶 | 6s |
航速为14-23kn的船舶并且航向正在改变的船舶 | 2s
您需要先支付 80元 才能查看全部内容！立即支付
最新文档
|
