摘 要

基于AIS（Automatic Identification System）获得的船舶运动信息是目前水上交通研究中重要的数据源之一。由于海上信息技术的广泛推广，大量AIS数据被采集、存储，随着海事大数据、航海智能化的发展，如何充分利用好这些数据以不断提高船舶交通的安全、效率和保护自然环境是当前面临的重要课题之一。AIS数据中包含关于船舶静态和动态的各类信息，可以通过对这些数据的解读，分析船舶的航行状态，并应用到海事监管、船舶避碰、海事事故调查、船舶交通流预测等多项相关领域中。但是其中存在的大量离群点却使得数据质量下降，数据的可读性和可靠性降低。和AIS数据类似，离群点同样存在于其他各领域的大规模数据集群中，因此相关学者针对不同的数据特征提出了多种离群点检测算法以剔除数据中的离群点。

本文首先对AIS系统及数据进行分析，了解AIS系统的网络通信原理及报文解析原理。其次，对离群点的一般特征进行总结，分析基于统计模型、距离、密度、聚类、深度的离群点检测算法的优缺点，并根据离群点的类型初步判断AIS数据离群点可能存在的类型。最后，设计了基于船舶AIS数据特征的离群点检测算法，并采集指定区域内的部分船舶AIS数据进行检测，分析离群点剔除后的数据，再次进行算法优化，最终得出该区域所有AIS数据的离群点剔除前后对比图。

经验证，提出的算法有效地降低了数据中的离群点数量，提高了数据的可读性与可靠性。本文的研究实现了算法的针对性和有效性，为基于AIS轨迹数据的相关研究和进行海事监管等的应用提供了基础，为促进海上交通智能化、信息化做出了贡献，丰富了船舶AIS数据处理与应用领域的研究内容。

关键词：船舶轨迹、AIS、离群点检测、数据分析

Abstract

AIS (Automatic Identification System) data is currently one of the important data in ship traffic. Due to the extensive promotion of maritime information technology, a large amount of AIS data is collected and stored. With the development of maritime big data and maritime intelligence, how to make full use of it These data are one of the important issues currently facing the continuous improvement of ship traffic safety, efficiency and protection of the natural environment. AIS data contains all kinds of information about the static and dynamic state of ships. Through the interpretation of these data, the navigation state of ships can be analyzed and applied to maritime supervision, collision avoidance of ships, maritime accident investigation, traffic flow prediction of ships and other related fields. However, the large number of outliers there are degraded data quality and the readability and reliability of the data are reduced. Similar to the AIS data, the outliers are also present in large-scale data clusters in other fields. Therefore, relevant scholars have proposed a variety of outlier detection algorithms for different data features to eliminate outliers in the data.

This paper first analyzes the AIS system and data, and understands the network communication principle and message parsing principle of the AIS system. Secondly, the general characteristics of outliers were summarized, the advantages and disadvantages of outlier detection algorithm based on statistical model, distance, density, clustering and depth were analyzed, and the possible types of AIS outliers were preliminarily determined according to the types of outliers. Finally, an outlier detection algorithm based on the characteristics of ship AIS data was designed, and part of ship AIS data in the designated area was collected for detection. The data after outlier removal was analyzed, and the algorithm was optimized again. Finally, the comparison chart of all AIS data before and after outlier removal was obtained.

It is verified that the proposed algorithm effectively reduces the number of outliers in the data and improves the readability and reliability of the data. The research in this paper realizes the pertinence and effectiveness of the algorithm, and provides a basis for the related research based on AIS trajectory data and the application of maritime supervision. It contributes to the intelligent and informationization of maritime traffic and enriches the ship AIS. Research content in data processing and application areas.

Key words：Ship trajectory、AIS、Outlier detection、Data analysis

目 录

第1章 绪论 1

1.1 课题的研究背景及意义 1

1.1.1 课题的研究背景 1

1.1.2 课题的研究目的及意义 1

1.2 国内外研究现状 2

1.3 主要研究内容 2

1.4 本文的组织结构 3

第2章 相关研究基础 4

2.1 船舶自动识别系统 4

2.1.1 AIS系统构成 4

2.1.2 AIS的网络原理及报文解析 5

2.1.3 AIS的数据质量 6

2.2 离群点 7

2.2.1 离群点的介绍 6

2.2.2 离群点检测算法介绍 8

2.2.3 离群点的分类 10

2.3 本章小结 10

第3章 基于AIS数据的船舶轨迹离群点分析 12

3.1 研究概述 12

3.2 基于AIS数据特征的离群点检测算法设计 12

3.3 AIS数据处理 13

3.3.1 AIS原始数据解析 13

3.3.2 离群点识别与检测 15

3.3.3 离群点剔除 18

3.3.4 算法优化 19

3.3.5 算法效果验证 20

3.4 本章小结 21

第4章 总结与展望 22

4.1 总结 22

4.2 展望 22

参考文献 23

致谢 25

第1章 绪论

1.1 课题的研究背景及意义

1.1.1 课题的研究背景

船舶运输作为全球间商品交流最重要的方式之一，在国际贸易货物运输中占有及其重要的地位，目前全球90%以上的商品贸易货运量是通过海运完成的。但是船舶数量的增加也使得船舶事故数量不断上升，这给船舶航行安全和海洋环境带来了巨大的威胁。为了保障海上交通安全，船舶识别与信息交换受到世界各国重视。

船舶自动识别系统（AIS）数据中包含着关于船舶静态、动态和航程的各类信息，通过对这些数据的读取，可分析船舶的航行状态和航道内的交通形势。AIS的主要功能是以一定的更新速率将船舶的静态参数和航行状态等信息发送给其VHF（Very High Frequency）覆盖范围内的船台或岸台，同时也接收并处理由其他船舶或岸基发送的AIS信息，以实现对航行区域内水上交通的识别和监视，保障船舶的航行安全。

AIS数据中包括由时间和位置信息构成的船舶时空位置点，其连续的时空位置点构成了船舶的轨迹数据。高质量的船舶AIS轨迹数据是进行海事监管、船舶避碰、海事事故调查、船舶交通流预测^[1]和船舶行为规律挖掘等的重要数据源。但在复杂电子环境、山区地形的情况下，或在AIS数据量巨大的通航密集水域内，受AIS信号传输或AIS设备问题的影响，基于AIS数据得到的船舶轨迹可能会出现一些位置或其他错误的离群点，导致船舶的轨迹数据有较大误差。

1.1.2 课题的研究目的及意义

AIS轨迹数据中的离群点会严重降低轨迹数据质量，使读取船舶轨迹特征更加困难，同时易引起后续基于轨迹数据开展的研究及应用结果不准确，例如轨迹压缩、轨迹聚类、路径规划、异常模式检测和航迹关联分析等^[2]。对船舶轨迹数据离群点的分析及识别，将提高船舶轨迹数据的可靠性和可读性，为今后利用船舶AIS大数据进行各项研究奠定良好的基础。

本文以数据离群点分析理论及方法为技术核心，以采集到的大量船舶AIS数据为分析样本，提取AIS数据中隐藏的特征信息，分析研究适用于船舶轨迹离群点的检测方法，一定程度上改善数据的可读性和可靠性，为促进海上交通的智能化、信息化做出贡献，并丰富AIS数据处理领域的研究内容。

1.2 国内外研究现状

目前国内外对轨迹数据的离群点都有比较广泛的研究，且针对异常点检测的研究较多，具体如下。

最早由Hawkins从统计学的角度将离群点描述为不服从正常数据模式、明显偏离整体的数据点^[3]；后来Knorr等提出了经典的DB(p, D)算法，该方法需要恰当的距离度量，将离群点描述为与一定比例其余数据点之间的距离超过阈值的点^[4]；Breunig等提出了LOF（Local Outlier Factor）算法，根据领域中全部点的局部可达密度计算出每一个点的离群程度，从而得出正确的判断^[5]；尹新亮等从偏离特征的角度，提出了一种快速LOF算法，该算法将数据空间划分为多个网格，并根据网格的质心来计算数据点的LOF^[6]；Liu等提出了孤立森林（iForest）算法，建树过程中，如果一些样本很快就到达了叶子节点，则认为很有可能是离群点^[7]；Anjum等研究了常见的离群点检测，利用均值移位聚类技术对集群进行识别，与重复发生的轨迹相对应的被认为是正常的^[8]。

周彩等利用改进的样条插值法对AIS异常数据进行修复，修复效果较好^[9]；甄荣等利用曲线拟合的最小二乘法对船舶轨迹点进行拟合，认为95%置信区间外的点为异常数据^[10]；Demsky等提出了一种检测异常数据的系统，并实现原始数据的修复^[11]；Mohamed Yakout等引入GDR（Guided Data Repair）概念对存在异常的数据进行修复^[12]；韩昭蓉等提出了TODAT（Trajectory Outlier Detection Algorithm based on adaptive Threshold）算法，即通过当前时刻的瞬时速度及其阈值判断AIS轨迹点是否为异常点^[2]；Fu等提出了一个聚类框架，根据车辆在真实交通视频中的相互相似性对车辆运动轨迹进行分类^[13]；Morris通过基于LCSS（Longest Common Subsequence）距离的光谱聚类对典型的轨迹模式进行分组^[14]；Hsieh等通过分割正常活动的轨迹来训练一个不受监督的轨迹检测器，利用轨迹特征检测异常活动^[15]。

经过多年的研究和发展，这些基于统计学、距离、聚类、分类、特征、神经网络^[16]的数据离群点和异常点检测在处理不同数据时均存在各自的优势与问题。如基于统计学的方法是应用较为广泛的一种方法，其拥有良好的统计学基础，但处理高维数据能力差；DB(p, D)算法思想简单、易于理解，但参数不易确定；快速LOF算法明显节省了计算时间，但其数据空间的划分存在一定的缺陷；样条插值法仅对修复有少量缺失的数据效果明显；基于聚类的方法虽然检测速度快，但无法识别出处于聚类内的异常点。本文基于以上问题，针对AIS数据的特征，将基于距离的方法和基于数据特征的方法相结合，既可以检测出较为明显的离群点，也可以检测出处于轨迹内部的离群点，且算法思想简单、易于理解。

1.3 主要研究内容

本文研究内容主要有以下三个部分。

（1）AIS船舶轨迹数据的采集和解析

本论文将利用本院交通大数据采集某区域某段时间内的船舶AIS基础数据作为研究样本，通过对AIS系统原理及报文解析的学习获取可读数据，使用MATLAB软件编写程序代码对原始数据进行解析，得出船舶在轨迹点的时间、MMSI码、经纬度、航速、航向等信息，分析离群点的特征信息，为后续研究开展奠定基础。

（2）设计离群点检测算法，对部分AIS数据进行处理

由于各种因素，船舶原始AIS数据存在大量离群点，这些离群点的存在会直接影响数据质量，因此本论文将对比分析基于统计、距离、密度、聚类等离群点检测算法的特征及优缺点，根据船舶AIS数据的特征设计适合的离群点检测算法，并对部分数据进行实验验证。

（3）优化算法，验证算法普适性

针对部分AIS数据的验证结果进行分析后，对算法进行改进优化。对采集的该区域所有船舶AIS数据进行算法的普适性验证，利用MATLAB编辑优化后的算法进行离群点检测，并剔除离群点，得到可读性和可靠性较高的AIS数据，并绘制出优化后的轨迹数据图以供对比，为后续基于此数据的研究提供基础。

1.4 本文的组织结构

本文共包含4章内容，各章具体内容概述如下。

第1章，绪论。简述了船舶AIS数据离群点检测研究背景及意义，介绍了有关离群点和异常点检测的国内外研究现状，概述了本文的主要研究内容。

第2章，相关研究基础。介绍了本文研究内容的理论基础，包括离群点的定义、类别以及各类离群点检测算法，分析了每类算法的优势与不足。

第3章，基于AIS数据的船舶轨迹离群点分析。根据船舶AIS数据特征设计了适用于AIS数据的离群点检测算法，并将采集的某区域船舶AIS数据进行离群点检测分析，在得出的结果上再次进行算法优化，最终得出可靠的离群点检测算法，并给出所有数据剔除离群点前后的AIS轨迹对比图以验证其普适性。

第4章，总结与展望。总结分析了本文的各项工作与不足，提出了对未来基于此工作的展望。

第2章 相关研究基础

2.1 船舶自动识别系统

2.1.1 AIS系统构成

船舶自动识别系统（AIS）是通过自动连续发射、接收及处理船舶信息建立船船、船岸联系的水上监测、通信和助航系统。AIS以时分多址技术（Time Division Multiple Access， TDMA）为数据链连接方式。在无人工干预的情况下，将船舶静态、动态及与船舶航行和安全相关的信息播发给其VHF覆盖范围内的船台或岸台，并根据更新要求或设置的速率更新，同时也可接收并处理来自他船或主管机关的上述信息。其专用的工作频道为：AIS1（CH87B, 161.975MHZ）；AIS2（CH88B, 162.025MHZ）。

AIS主要由接口电路、信息处理器、VHF收发机及信息显示设备组成，如图2.1所示。

图2.1 AIS组成框图

（1）接口电路

接口电路从GPS或DGPS接收本船船位，并同步协调世界时；从罗经获取本船航向；从计程仪获取本船船速；从雷达等设备获取其他相关信息。

（2）信息处理器

作为AIS的核心部分，信息处理器的主要作用为，对通过接口电路输入的本船信息进行储存、编码后送VHF发射，同时将接收的他船信息显示在信息显示器上^[17]。AIS设备大多采用协调世界时，以保证严格的时间同步，从而避免不必要干扰。