内河船舶航行实时障碍物检测方法研究与实现毕业论文
2020-02-17 23:13:54
摘 要
内河航运是我国运输体系的支柱之一,由于运输需求的不断增加,我国内河航运在不断发展,现今已是航运大国。内河船舶航行的环境相对复杂,并且随着船舶数量的快速增长,船舶在内河航行的密度越来越大,内河船舶航行存在着巨大的安全隐患,但是内河航行的船舶不像在海上航行的大型船舶,可以安装雷达等功能强大的设备,因为安装这些设备意味着成本的极大增加。所以为了提高内河船舶航行的安全性,采用基于计算机视觉的障碍物检测方法是提高内河船舶航行安全性能的良好解决方法,基于视觉的障碍物检测可以提高内河船舶的导航能力,也是无人船研究的热门方向之一。
本文研究内容总的来说就是将视频的障碍物检测出来,具体来说,在内河船舶航行中摄像头会实时拍摄水面情况,诸如迎面而来的船舶、浮标、桥梁、渔船等相对航行中的船舶来说都是障碍物,研究一种方法将这些障碍物尽可能都检测出来,是本文研究的重点。
综合毕业设计的要求,以及比较当前主流目标检测算法,本文以yolov3目标检测算法为主体,实现内河船舶航行中的实时障碍物检测,并取得了一些不错的成果,在高性能的服务器上运行检测程序时,待检测视频可以实时播放,并不会因为检测而有卡顿现象,并且有着较好的检测精度。
本文主要做的研究工作如下:
(1)研究了当前主流的目标检测算法,比如SSD,RCNN,Fast-RCNN,Faster-RCNN,YOLOv1,YOLOv2,YOLOv3,了解了它们的原理,比较了它们的性能,并选择了YOLOv3作为障碍物检测的核心算法。
(2)研究了卷积神经网络,了解了深度学习的相关知识,对卷积神经网络的结构有了清晰的认知,研究了卷积层、池化层和全连接层的原理及其作用,了解了深度学习的过程。
(3)深入研究了YOLOv3目标检测算法,包括算法如何进行检测,以及如何构建深度学习神经网络对数据进行训练以进行检测。
(4)以Keras框架实现了YOLOv3目标检测算法训练数据集的深度神经网络,并用训练所得weights进行目标检测,取得了不错的效果。
关键词:障碍物检测;内河船舶辅助安全;内河船舶导航;YOLO;神经网络
Abstract
Inland river shipping is one of the pillars of China's transport system. Due to the increasing demand for transport, inland river shipping in China is developing continuously and is now a major shipping country. The environment when inland river ship sails is relatively complex, and the rapid growth in the number of ships, ships in inland navigation is more and more big, the density of inland river navigation of ships is a great safety hidden trouble, but the inland navigation vessels is not like a large ship sailing on the sea, can install powerful equipment such as radar, because install these equipment means that the cost of increased greatly. So in order to improve the safety of inland river navigation of ships, the obstacle detection method based on computer vision is a good solution to improve the performance of inland river ships navigation safety, based on visual obstacle detection can also improve the ability of inland river navigation of the ship, is a hot direction of the unmanned ship research.
In this paper, the research content in general is to video obstacle detection, in particular, cameras in the inland river navigation of ships, real-time shooting water such as the oncoming ships, buoys, bridges, fishing boats and other relative navigation of a ship will be obstacles, research a kind of method to these obstacles are detected, as far as possible is the key point of this study.
Comprehensive graduation design requirements, and comparing the current mainstream target detection algorithm, based on the yolov3 target detection algorithm as the main body, achieve inland river navigation of ships sailing in the real-time obstacle detection, and obtained some good results, the high performance server running on the test procedure, video to be detected can be real-time playback, does not have delay phenomenon because of testing, and has a good precision.
The main research work of this paper is as follows:
(1)This paper studied the current mainstream target detection algorithms, such as SSD, RCNN, Fast-RCNN, Faster -RCNN, YOLOv1, YOLOv2 and YOLOv3, understood their principles, compared their performance, and selected YOLOv3 as the core algorithm for obstacle detection.
(2)This paper studies the convolutional neural network, understands the relevant knowledge of deep learning, has a clear understanding of the structure of the convolutional neural network, and studies the principles and functions of the convolutional layer, pooling layer and full connection layer. Understand the process of deep learning.
(3)The YOLOv3 target detection algorithm is deeply studied, including how to detect the algorithm and how to build a deep learning neural network to train the data for detection.
(4)The deep neural network of the training data set of the YOLOv3 target detection algorithm is implemented with the Keras framework, and the weights obtained from the training are used for target detection, with good results obtained.
Keywords: obstacle detection, auxiliary safety of inland river ships, navigation of inland river ships, YOLO, neural network
目 录
第 1 章 绪论 1
1.1 研究背景及意义 1
1.2 国内外研究现状 1
1.2.1 国外研究现状 1
1.2.2 国内研究现状 2
1.3 论文结构安排 3
第 2 章 障碍物检测算法原理 4
2.1 需求分析 4
2.2 障碍物检测算法架构 4
2.3 YOLO算法原理及关键技术 5
2.3.1 K-means算法 5
2.3.2 卷积神经网络 5
2.3.3 目标检测 10
2.4 本章小结 12
第 3 章 障碍物检测算法的实现 13
3.1 总体工作方案 13
3.2 实现过程 14
3.2.1 电脑环境配置与数据收集和标注 14
3.2.2 算法实现 14
3.2.3 结果展示 19
3.3 本章小结 21
第 4 章 算法的分析与评估 22
4.1 分析与评估的方法 22
4.2 测试结果的分析与评估 23
4.2.1 FPS 23
4.2.2 Precision 24
4.2.3 Recall 25
4.2.4 Accuracy 25
4.2.5 F1值 25
4.2.6 Loss 25
4.3 总体性能评价 25
4.4 本章小结 26
第 5 章 总结与展望 27
5.1 本文工作总结 27
5.2 研究工作展望 27
参考文献 28
致谢 30
绪论
研究背景及意义
基于视频的目标检测算法一直以来都是计算机视觉领域的重要内容,近年来如相关性滤波、卷积神经网络等技术被目标检测领域重视并用于目标检测,使得检测效果明显提升。深度学习技术一直在助力计算机视觉技术的发展,如今越来越多的基于深度学习的计算机视觉算法被提出并运用到实际中[1]。当前典型的应用场景有交通标识检测,路面状况检测,热门的应用领域都集中在智能汽车上。而对于不便于安装雷达的内河船舶而言,计算机视觉在内河船舶导航和跟踪等方面的应用也不是目前的热门方向。但是随着近年来我国经济的高速增长,内河航道的运输量日益增大,这促使了内河船舶数量的急剧增加,并且伴随着航道通航密度的增大,内河船舶在航道如何安全的行驶成为了非常重要的问题。
虽然目前有诸如AIS(Automatic Identification System)、ECDIS(Electronic Chart Display and Information System)、雷达等导航设备,但是这些导航设备中会主动测距的只有雷达,并且安装这些设备会极大的增加船舶建造的成本,对于内河航道的船舶来说,高昂的造价显然是无法接受的,那么一种低成本,高可靠性的障碍物检测系统在内河船舶航行方面将会有非常广阔的应用前景。
同时在内河航行的船舶有着比在海上航行的船舶更加良好的网络环境,内河船舶航行时信号好,可以有效的与岸上人员进行沟通,在信息交流的过程视频图像比雷达图像更加直观,岸上人员可以更好的了解当前水域的情况,对比雷达,障碍物检测系统在这方面的应用也有巨大的优势。
所以障碍物检测系统不仅可以为船舶导航提供解决方案,也可以为水面搜救、海上情况监控和船舶救援等情况提供良好的辅助。
国内外研究现状
国外研究现状
障碍物检测算法的核心就是目标检测算法。国外主流的目标检测算法包括两大类,一是基于Region Proposal的 two stage检测算法,另一类是基于回归问题的one stage检测算法。
two stage检测算法的代表有R-CNN,R.Girshick等人首创的提出了Region Proposal CNN这一目标检测框架,为以后基于CNN的检测算法奠定基础[2]。
为了解决R-CNN中对候选框进行裁剪、缩放从而影响检测效果的问题,K He等人提出了SPP-Net,SSP即spatial Pyramid Pooling(金字塔空间池化),相对R-CNN,检测效果大大提升[3]。
借鉴了SPP-net中金字塔池化的思想,R.Girshick等人提出了Fast-RCNN,进一步提升了RCNN的性能[4]。
在Fast-RCNN的基础上,R.Girshick再次提出Faster-RCNN,该算法最大的创新是提出了RPN(区域生成网络),加速了候选框的提取,检测速度和精度进一步提升[5]。
one stage检测算法的代表是Redmon等人提出的YOLO算法,他们将目标检测作为一个回归问题来解决,真正意义上实现了端到端的目标检测,检测速度快,但精度相比Faster R-CNN略有下降[6]。
YOLOv1在检测速度和检测精度等方面都有所欠缺,Redmon等人借鉴了众多算法后优化了YOLOv1的模型结构,产生了YOLOv2[7]。
在YOLOv2的基础之上,Redmon等人引入多尺度预测和更好的分类网络,产生了YOLOv3[8]。
国内研究现状
国内的研究大多以应用为主,也有是基础国外研究的算法进行改良。
谭红臣,李淑华等人针对SSD算法不同尺度的特征层很难进行融合互补问题,提出一种特征增强的SSD(FE-SSD)算法[9]。
修炳楠,吕俊伟等人针对无人机进行红外目标侦查的应用,提出了一种基于SVM候选区训练的红外舰船目标检测检测方法[10]。
隋靓,党建武针对肉眼观察高速公路录像判定异常事件耗时太长,准确率不高并且人力成本大等缺点,提出基于车辆运动轨迹的异常事件检测算法[11]。
杨玉棋、邱虎鸣为了改进原始监控系统的弊端,完善校园安全,设计了一种基于YOLO算法的智能监控系统[12]。
郭进祥、刘立波等人针对机场场面摄像机采集图片中飞机较小,并且会相互遮挡的问题,提出了一种基于YOLOv3的机场场面飞机检测方法,能够较好的检测小目标和遮挡飞机,且在保证实时性的前提下,将检测准确率从72.3%提高到83.7%。
郭敬东、陈彬等人针对电力线路无人机灾后巡检通过人工方式评估线路灾损,费时费力并且准确率低,提出了一种基于YOLO的无人机电力线路杆塔巡检图像实时检测,改进后的模型在测试集上的召回率和交并比(IoU)较改进前有所提高,且平均均值精度(mAP)达到94.09,检测速度达到20帧/s。
金宇尘、罗娜针对车辆目标检测过程中较小车辆及被遮挡车辆容易被漏检、错检的问题,提出了结合多尺度特征的改进YOLOv2车辆实时检测算法,显著降低车辆目标漏检、错检率,平均准确率提高9%以上[13]。
周文萱,胡龙桃等人针对常见动物识别的问题,提出了一种基于YOLO的识别分类系统,其识别准确率针对鸟类可达94.61%,狗类为90.60%,牛类为79.03%[14]。
王超、付子昂针对机器视觉对驾驶员视角的道路交通标识进行识别时无法同时满足准确率与实时性要求的问题,提出了一种基于YOLO v2模型的交通标识检测算法,交通标识检测数据集上的准确率为80. 1%,检测速度达到40帧/s[15]。
施辉、陈先桥等人针对在生产和作业场地中,工人由于不佩戴安全帽而引发的安全事故的问题,提出了一种改进YOLO v3的安全帽佩戴检测方法,在安全帽佩戴检测任务中,mAP(Mean Average Precision)达到了92.13%,检测速率提高到62fps。
张家晨,陈庆奎针对当前交通运行出现的拥堵问题,提出一种新型的基于YOLO的道路车辆拥堵分析模型,该模型能够同时对一条道路的三个车道进行状态统计分析,经过实验,模型对单条车道状态判断的平均准确率能达到80%以上,并且白天与夜晚的道路均适用[16]。
论文结构安排
本文一共分为五章,各部分主要内容如下。
第1章是本文的绪论部分,本章开头介绍了目标检测技术相关应用的背景,分析了内河船舶上使用目标检测技术的应用前景,陈述了该课题的研究背景意义。其次陈述了目标检测技术的国内外研究现状,发展的过程。
第2章从需求分析入手,确定障碍物检测算法的核心算法为YOLOv3,然后描述YOLOv3主要架构,从架构中逐一分析算法的具体原理及一些关键技术,比如K-means算法,NMS算法,神经网络的主要结构等,对障碍物检测算法原理进行了系统的梳理,为下一步实现做好准备。
第3章陈述的是本文为实现障碍物检测算法所做的具体工作,包括前期技术路线,方案的选择,障碍物数据的收集,为电脑配置各种环境支持障碍物检测算法,算法的具体实现细节,以及最后对收集数据的训练和障碍物检测算法的测试。
第4章是分析和评估已实现的障碍物检测算法,先陈述了相关指标,有FPS、Precision、Recall、Accuracy、F1值和Loss,最后抽取障碍物样本进行测试,得到结果计算指标,综合各种指标对算法进行整体的分析和评估。
第5章对本文进行全面总结,分析了本文所做工作存在的不足之处,并且提出了对应的改进思路。
障碍物检测算法原理
需求分析
目前我国内河通航密度大,船舶数量多,内河船舶航行安全问题日益突出,内河船舶航行的避障和导航成了非常关键的技术,传统的方法是通过雷达等设备实现的,但是对于内河船舶来说,安装雷达成本太高,后期的维护也非常麻烦,那么基于视频的障碍物检测系统是解决上述矛盾的一种新方法,船舶航行过程中,对航道障碍物的实时、准确的检测是基本的要求,在主流的目标检测算法中,能将检测速度和检测精度平衡的最好的算法就是YOLO算法,所以本文采用YOLO算法为内河船舶航行过程中的障碍物检测算法的核心算法。
障碍物检测算法架构
本文所实现的障碍物检测算法架构分为两大部分,第一个部分为训练架构,第二个部分为检测架构,整个算法主要架构如下图2.1所示。
以上是毕业论文大纲或资料介绍,该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取,微信号:bysjorg。
相关图片展示: