基于YOLOSSD深度学习的航拍车辆船舶的识别和跟踪毕业论文
2020-02-19 07:57:33
摘 要
随着人民经济生活的提高以及科技产物的发展合普及,车辆的使用已经逐渐进入了人们的工作和生活当中。不论在日常代步方面,还是在运输等工程项目中,车辆都提供了相当的便利。
随着车辆跟踪技术的发展,相关技术也能被广泛的应用于各行各业,满足各式的需求。在交通安全、高峰时段控制车流、追捕逃犯等领域,车辆跟踪技术已经具有不可替代的地位。
所以本次的毕业设计,我致力于研究基于SURF(Speed Up Robust Feature)算法的图像特征的车辆跟踪,该技术具有很强的现实意义,同时也具有很高的实用价值。
本次设计当中,我们主要研究的方向是图像处理技术,希望达到的目的是实现交通车辆的检测和跟踪。其中我们依靠MATLAB的数字图像处理能力,运用最新的SURF算法处理连续的15帧图像内的近两百辆运动车辆。
在SURF算法的具体实现中,我们融入了数字图像的形态学处理,尝试了光流法、帧差法和差分法的优劣情况,最后使用多特征匹配提高检测和跟踪的精度。在文章的最后,通过数据标注和后期结果比对的方式,进行了精度的检测。
最后我们达到了70%左右的精确度,基本达到了我们预期的精确度。车辆检测和跟踪技术虽然已经成熟,但仍然有非常大的发展空间,相关的科研人员任重而道远。
关键词:MATLAB;车辆跟踪;图像处理;SURF
Abstract
With the improvement of people's economic life and the development and popularization of scientific and technological products, the use of vehicles has gradually entered people's work and life. No matter in daily transportation, or in transportation and other engineering projects, vehicles have provided considerable convenience.
With the development of vehicle tracking technology, related technology can also be widely used in all walks of life to meet various needs. Vehicle tracking technology has played an irreplaceable role in the fields of traffic safety, rush-hour traffic control and fugitive hunting.
Therefore, in this graduation project, I was dedicated to researching vehicle tracking based on image features of SURF (Speed Up Robust Feature) algorithm. This technology has strong practical significance and high practical value.
In this design, our main research direction is image processing technology, and we hope to achieve the goal of vehicle detection and tracking. Among them, we relied on MATLAB's digital image processing capabilities and used the latest SURF algorithm to process nearly 200 moving vehicles within 15 consecutive frames of images.
In SURF algorithm implementation, we integrated morphological processing of digital images, tried advantages and disadvantages of optical flow method, frame difference method and difference method, and finally used multi-feature matching to improve the detection and tracking accuracy. At the end of the paper, the accuracy is tested by data annotation and later result comparison.
And we ended up with about 70 percent accuracy, which is pretty much what we expected. Although vehicle detection and tracking technology has been mature, but there is still a very large space for development, the relevant researchers have a long way to go.
Key words: MATLAB; traffic detection; image processing;SURF
目录
第1章 绪论 1
1.1课题背景及意义 1
1.2国内外现状 2
1.3设计课题简介 3
1.4 SURF算法简介 3
第2章 图像处理技术简介 5
2.1数字图像 4
2.1.1 数字图像的基础知识 5
2.1.2 数字图像的分类 5
2.1.3 数字图像的直方图 6
2.2图像处理 7
2.2.1 图像处理的常见步骤 7
2.2.2 形态学处理 8
第3章 实验设计具体过程 9
3.1 实验流程综述 9
3.2 背景处理 9
3.2.1 光流法 10
3.2.2帧差法 11
3.2.3背景差分 11
3.3 特征提取 13
3.3.1 SURF实现流程 13
3.3.2 SURF特征提取算法实操 14
3.3.3多算法特征提取 16
3.4 场景特征提取 17
3.4.1 背景的形态学处理 17
3.4.2 场景特征提取 20
第4章 特征点匹配和车辆跟踪 22
第5章 算法检测与精度测算 25
5.1评估方法 25
5.1评估结果的分析和讨论 26
第6章 总结 27
致 谢 29
参考 文献 30
第一章 绪论
1.1课题背景及意义
现今存在的交通压力越来越大,这些问题主要来自两个方面。当代人民的生活水平逐渐提高,私家车逐步进入了家家户户【1】,与此同时社会福利的提升和改善,公共交通数量也越来越多,城市中的拥堵情况随处可见,交通压力同样也是越来越大,在这样的社会环境下以及趋势下,合理的分配公共交通资源、分配道路的使用,对车辆的信息进行收集和跟踪显得格外的重要,这也成为了目前国内为相关工作人员的主要目标。
随着上世纪90年代计算机图像技术的兴起,以计算机视觉神经网络为基础的,大范围、全面的对车辆进行检测和识别的理论和技术高速的发展,现今已基本实现了对车辆信息的全面分析和管理。通过该技术对车辆的主要特征进行检测、识别、分类和运动状态的跟踪检测,实现智能交通的控制和管理。
本次设计基于图像特征的车辆跟踪,使用的是大广角的航拍图像。由于航拍的图像可以涵盖更多的位置信息和地貌信息,同时同帧图片中可以捕捉到更多的目标物体,所以在实际生活中被防范的运用。但是由于航拍的技术要求比较复杂,相比地面摄像机设的稳定,航拍图像往往在稳定性和清晰度上往往比较低,为了保留航拍图像为我们带来的便利,就必须从硬件上,和图像处理技术上,解决航拍图像的各种不足,本次设计,我就是从图像处理的角度出发,深入的探讨解决航拍图像清晰度不足,噪音太多等问题,所以我的本次研究具有非常高的现实意义,目前越来越多的科研人员加入了航拍图像的研究。
在设计的过程中我基于MATLAB的图像处理技术,运用了SURF等的计算处理办法,实现了对车辆特征的提取和分析,最后实现车辆的跟踪。SURF算法是基于SIFT算法的一种改良,主要改善了算法的执行效率的问题,目前在国内外被广泛的使用,具有非常高的学习和研究价值【2】。
目前该技术已经广泛的运用到了各个领域,ETC收费系统、犯罪车辆的肇事逃逸、被抢被盗车辆的识别与跟踪和城市智能交通的规划管理等等。大力发展该项技术是时代 的必须。
1.2国内外现状
在上世纪20年代的初期,图像处理技术最早被运用到了的报纸行业,这也可以算作是图像技术一次被广泛而大量的使用【3】。随着科技的日新月异,人类的需求不断的增加,图像处理技术已经逐步发展成熟并且被广泛的运用于各大产业。尤其在交通行业,由于车辆数目巨大,所以需要的计算分析的数据量也十分的庞大,所以发展的尤为迅猛。
在车辆检测与跟踪当中,车辆快速的运动,所以图像信息中包含了大量的噪音干扰,就是常说的冗余信息。应用目前的图像处理技术,图片中的噪音干扰可以基本被除去,仅仅保留图片中的有用信息。由于对精度的需求越来越高,越来越多的计算方法和处理办法也应需而生,除我使用到的SURF算法是基于边的特征提取算法,还有很多基于角、基于区块特征的算法。编写或使用不同的算法处理相同的图片,得到的结果及精度也各不相同,最优的选取处理办法也是目前国内外科研人员研究的方向之一。
在航拍图像的处理上,图像处理技术也从硬件上和软件上取得了巨大进步。早期由于飞行器不稳定,导致图像波动巨大,噪音很多,航拍图像的利用十分匮乏,但由于航拍图像有其不可替代的优势,近年来相关方面的研究数量愈来愈多。为了让航拍照片稳定,有的时候会使用如Spacecam等高级摄影设备,它利用三轴陀螺仪稳定功能,提供高质量的稳定画面,甚至在长焦距镜头下也非常稳定【4】。在软件方面,越来越多的计算方法和处理函数也能更加准确处理航拍图像的不足。
对于视频图像的检测和识别等问题的研究,欧美国家起步较早,经过了多年的发展和经验的累积,相关的理论和关键的技术已经非常的成熟,技术上对目标检测和虚拟线圈检测具有非常高的优越性和性价比,这已经得到相关从业人员的公认。相比国内而言,我国相关的技术研究起步较晚,由于经济原因和早期对外交流较少,国内相关的从业人员获取国外高速发展的研究成果的渠道较少,所以相关的研究滞后较为严重。但在改革开放以来,我国经济迅速发展,国家及政府对相关产业的投入也逐年增加,对外的交流更加的频繁,这一切保证了我国交通管理研究的告诉发展,交通管理研究的发展直接带动了国内图像处理技术的逐步兴起。近年来,由我国自主研发的VTD2000系统、VideoTrac智能采集系统等都已经得到了大范围的应用。
发展到今日,图像处理技术已经不止是简单的识别和处理了,随着近年来卷积神经网络的流行和发展,图像理解和计算机视觉技术为图像处理技术带来了新的挑战和课题。我内外正致力于让计算机能能做出相应的图像理解行为【5】,让基于图像特征的跟踪更加的智能化。
1.3设计课题简介
本次课题的任务是了解基于图像处理和计算机视觉技术的发展现状。熟悉SURF等图像特征的原理,以及相关的目标跟踪的原理、算法和实现,掌握主流图像处理和计算机视觉的开发工具和编程语言。研究的具体内容如下:
(1)文献材料的查询及阅读(包括图像特征处理技术的背景和意义、国内外的研究现状、存在的难点以及将要开展的研究内容);
(2)掌握SURF图像特征的原理、特征、结构、实现方法;
(3)掌握MATLAB;
(4)完成航拍图像数据集的标注和预处理;
(5)运用SURF等技术实现车辆跟踪方法并评估其性能。
本片论文,将从数字图像的定义入手,介绍数字图像的分类,和数字图像的形态学处理办法。在对数字图像简单介绍后,我将简单介绍我这次主要使用的算法SURF(Speed Up Robust Features),介绍该算法的运算原理和具体的操作步骤。随后我将展示操作的代码和得到的实际结果。在最后,我们还将进行精度的检测。
1.4 SURF算法简介
SURF算法的全称是Speeded Up Robust Features,加速稳健特征。是一种稳健的局部特征点检查和描述算法。
在1999年David Lowe在算法上对SIFT进行了改进,他巧妙的引入了Hessian(黑塞矩阵)检测兴趣点高效的特点,成功提出了SURF算法,使得SURF算法在运算效率上相比SIFT有了非常显著的提高,SURF算法在使用中与SIFT算法类似,都是首先利用矩阵构建空间模型找到兴趣点,然后对兴趣点进行跟踪匹配,更为详尽的使用方法将在后面中SURF算法的操作步骤里介绍【6】。
SURF除去使用了高效的Hessian(黑塞矩阵),还是用了一个降维的特征描述子。这个降维的特征描述子需要处理的积分图像进行图像卷积,卷积后我们就可以构建适用的空间模型,实现后续的操作;虽然使用黑塞矩阵和降维特征描述子可以大大提高运算效率,帮助我们在计算机中进行图像卷积,但这都是我们需要使用的最基本的方法,如若达到更好的检测和匹配的效果,我们仍需要需要结合新的检测、描述和匹配步骤。
第二章 图像处理技术简介
2.1数字图像
2.1.1 数字图像的基础知识
通常来说,我们将用有限数字数值像素表示的二维图像叫做数字图像。数字图像同时又可以称为数码图像或数位图像。通俗的来说就是由数组或矩阵表示的数字数值信息被离散的存放在各个像素点内,图像像素点内储存的的光照强度和位置等信息都是离散分布的。像素是这些信息的最基本单位,可以用数字计算机或者数字电路非常方便的进行储存和处理。同时像素也是数字图像的最基本单元,像素是在模拟图像数字化时,对连续的时空进行离散化是得到的。每一个像素都具有行和列的位置坐便,同时具有表示灰度值或颜色值的数组或矩阵【7】。
数字图像包含大量的信息,这些信息主要有两方面的决定因素:分辨率和图像像素的深度。分辨率的大小决定了图像像素的数量,分辨率越高,像素数量越大,所以在储存时,所需要的内存空间也更大。像素深度是指,储存在每一位像素中信息的位数,像素深度越大,说明每一位像素内所包含的信息量也越大,图片自然也更大。
2.1.2 数字图像的分类
目前数字图像主要被分为二值图像、灰度图像、彩色图像、伪彩色图像、立体图像和三维图像。根据此次课题的实际需求,我将在下文介绍被使用到的二值图像、灰度图像和彩色图像【8】。
- 黑白图像
黑白图像顾名思义即图像中只有黑色和白色,我们将这样的仅由黑白两色组成的图像称为黑白图像或者称为单色图。在数字图像的表示当中,黑白图像的像素值只有0和1,0代表的是黑色,1代表的是白色,由于像素信息只有1和0两个没有其他中间值,我们也可以将黑白图像称为二值图像。同时由于每个像素所包含的信息很少,所以一般黑白图像所占的储存空间较小,数据量很少。
- 灰度图像
灰度图像是在黑白图像的基础上做精确化处理。我们将从黑到白这个区间分为256级,取值范围是0至255,其中黑色由数值0表示,白色由数值255表示。我们将这些数值称之为灰度值,这些灰度信息中只包含亮度信息,不包含颜色信息。
- 彩色图像
灰度图像由于不包含颜色信息,所有对外表现为灰色,只要我们在灰度图像的信息单元中加入相应的颜色信息,就可以简单的表示为彩色图像了。当然彩色图像的表示方式还有很多,但主要都是由颜色空间来表示,下面为大家介绍最为常见的RGB颜色空间。在RGB颜色空间中,R、G、B分别对应的是RED、GREEN、BLUE,即红色、绿色和蓝色三个分量。三个分量共同决定了图像的亮度和颜色信息。
2.1.3 数字图像的直方图
对任意的数字图像来说,我们只能直观的观察,但我们无法知道每一个像素内具体包含了那些信息,为了将数字图像里面的部分信息可视化,让信息可观测,我们引入数字图像的直方图这一工具。一般来说,数字图像的直方图显示了该图像每个灰度值出现的频率,这实际上是运用了统计学的原理,直方图并不能直接描述每一个像素点的位置,但可以显示出他们的概率。下面是我在实验中用到的直方图。
图2.1 灰度直方图
在灰度直方图中,横坐标表示灰度数量级,纵坐标表示该灰度级在图像中的数目。由于图像大部分处于黑色,所以在0灰度出直方图达到峰值。
灰度直方图运用十分的广泛,图像处理的分割技术,图像的灰度变化,图像识别图像检测等方面都有所运用。
- 图像处理
2.2.1 图像处理的常见步骤
现实情况中的图像常常因为天气设备等原因,导致图像内含有很多干扰信息,即噪音干扰,这些干扰信息妨碍我们提取出有用的信息特征,必须要去掉,所以在进行车辆检测和跟踪前必须要进行图像处理。下面介绍图像处理的常见步骤,具体方法在后面的实验流程中会有更详细的介绍。
- 图像的获取
图像通常由图像采集设备收集后储存在计算机中,在图像的获取和采集过程中常常会涉及到一些信号的转化问题。由于计算机能处理的只能是数字信号,但有时图像采集设备采集的是模拟信号,其中就涉及到了模拟信号像数字信号的转化。
- 图像的复原和增强
上文中提到,由于环境和设备的不确定不稳定,图像采集设备采集到的图像信息往往不理想,存在很多的噪声干扰,这是图片的质量大打折扣,为了得到高质量,便于计算机处理的图片,我们需要进行图像的复原和增强工作。
图像复原的重点在于找到引起不稳定变化的原因,并模拟出这个不稳定变化,建立退化模型。例如,我们已知由于图像采集设备的原因引起的图片质量较低,我们就可以建立光学成像方面的恢复模型,用模型将图片修复到理想状态。
以上是毕业论文大纲或资料介绍,该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取,微信号:bysjorg。
相关图片展示: