摘 要

多旋翼无人机因具有成本低廉、操作简单和灵活悬停等优点，在智能交通、视频监控、精细农业和军事侦察等领域得到了广泛应用。但无人机的视频成像质量易受雾霾天气的干扰，影响后续目标检测、识别和跟踪等智能化需求，导致多旋翼无人机不能有效执行针对感兴趣目标的高质量成像，成为制约无人机智能化发展的关键与瓶颈问题。

为提高雾霾天气条件下多旋翼无人机机载视频成像质量，本文以大疆M600 Pro一体化飞行平台为视频成像载体，首先基于OpenCV视觉计算API和Microsoft AV Stream架构，在机载移动计算平台上搭建了能够进行视频图像稳定采集和传输的在线视觉感知增强系统；然后针对当视频成像受雾霾影响时图像存在对比度低及细节模糊等问题，利用暗通道先验估计初始透射率，进而构建了基于多正则化约束的透射率优化模型及其快速求解算法，并引入容差机制进一步修正透射率以得到令人满意的雾霾视频图像复原结果；最后，使用OpenMP多核并行API和下采样技术显著提升了机载视频图像复原速度。

实验结果表明，本文构建的多旋翼多人机在线视觉感知增强系统能够实时且稳定地采集、处理和传输视频，改进的雾霾视频图像复原方法能较好保留视频图像的细节结构特征和色彩信息，并在不同雾霾场景下均具有较强的鲁棒性，满足了雾霾天气条件下多旋翼无人机对视频图像质量增强的需求。

本文的特色在于无人机成像平台构建与视频图像增强方法。无人机成像平台构建方面，实现了机载端与地面站同时处理视频图像；视频图像增强方面，针对无人机的飞行场景特性，分别从成像质量和计算速度两方面对视频图像质量增强模型进行改进。本文研究成果能够丰富雾霾天气条件下多旋翼无人机视觉感知增强理论与方法，对提高交通巡航监管、海事搜寻和救助的效能具有实际意义。

关键词：雾霾天气条件；智能交通；多旋翼无人机；视频去雾；图像处理

Abstract

Due to its advantages of low cost, simple operation and flexible hovering, multi-rotor unmanned aerial vehicle(UAV) have been widely used in intelligent transportation, video monitoring, precision agriculture and military reconnaissance. However, the video imaging quality of UAV is easily affected by fog weather, affecting the subsequent target detection, identification, tracking and other intelligent requirements, resulting in multi-rotor UAV can not effectively perform high quality imaging for the target of interest, becoming a key and bottleneck problem for the intelligent development of UAV. To improve the video imaging quality of multi-rotor UAV in fog weather, this paper uses the DJI M600 Pro integrated flight platform as a video imaging carrier. Firstly, based on the OpenCV visual computing API and the Microsoft AV Stream architecture, an online visual perception enhancement system to capturing and transmitting stable video was built on the airborne mobile computing platform. Secondly, in order to solve the problems of low contrast and blurred details when the image is affected by fog weather, a clear video image restoration model based on Dark Channel Prior is constructed.

In addition, the tolerance mechanism and the total variational model are introduced to further correct the transmission map with bright areas such as sky. The inverted fog image model recovers potential clear images. Finally, the use of OpenMP multi-core parallel and transmission sampling techniques accelerate the calculation speed of the defogging algorithm.

The experimental result shows that the online visual perception enhancement system constructed in this paper can capture, process and transmit video stablly. The result used by improved defogging algorithm has better color fidelity and detail preservation. And it has strong robustness under different defogging scenes. In the case of guaranteeing the quality of video image defogging，this paper provides a relatively quick defogging algorithm processing method and meets the video image processing requirements of multi-rotor UAV under the fog weather.

The characteristics of this paper lie in two aspects. One is platform construction, which enables the airborne and ground stations to process video images at the same time. The other one is software algorithm, aiming at the characteristics of the UAV's flight scene, the dark channel prior model was improved from both the defogging effect and the processing speed. The research in this paper can enrich the theory and methods of multi-rotor UAV’s visual perception enhancement under fog weather, and has practical significance for improving the effectiveness of traffic cruise supervision, maritime searching and rescuing.

Key Words：fog weather; intelligent transportation; multi-rotor unmanned aerial vehicle; video defogging; image processing

第1章 绪论

1.1 研究背景和研究意义

近年来，随着无人机技术的飞速发展，多旋翼无人机因具有成本低廉、操作简单和灵活悬停等优点，在海事巡航搜救、智能交通和军事侦察等领域得到了广泛应用。多旋翼无人机参与城市交通管理能够发挥自己的专长和优势，帮助公安城市交管部门共同解决大中城市交通顽疾，不仅可以从宏观上确保城市交通发展规划贯彻落实，而且在微观上，通过搭载成像设备进行实况监视、交通流的调控，多旋翼无人机可以协助交管部门实现区域管控，确保交通畅通，应对突发交通事件，实施紧急救援。多旋翼无人机侦察任务主要依赖于高质量的成像，然而近年来城市空气质量的恶化导致长期雾霾天气现象发生的概率逐渐升高。由于雾霾天气条件下大气中气溶胶的散射作用，使得大气能见度降低，严重影响了对地观测图像的质量和清晰度，使图像的基本信息特征失真受损^[1]，导致多旋翼无人机不能有效执行针对感兴趣目标的高质量成像，成为制约多旋翼无人机智能化发展的关键与瓶颈问题。因此对多旋翼无人机获得的视频图像进行在线去雾等增强处理，具有很高的研究价值和实际意义。

针对多旋翼无人机图像处理的续航和实时性要求高的特点，传统PC图像处理受制于系统功耗和体积，无法被应用于多旋翼无人机上的视频图像处理。据此，我们在其飞行平台上搭建嵌入式软硬件平台进行视频图像处理。嵌入式图像系统^[2]是一种先进的图像处理系统，因具有低功耗、集成度高、成本低、软硬件可裁剪等优点而被广泛应用在多个领域。嵌入式图像处理技术和传统的PC图像处理技术相比^[3]，具有很大的优势，能够快速、简单的处理图像。基于嵌入式系统的数字图像处理技术具有成本低、通用性强、开发维护简单、稳定性良好等优点，因此在实际应用中，能够发挥出十分良好的作用和效果。

综上所述，多旋翼无人机上搭载的嵌入式系统软硬件对机载摄像头获取到的图像进行实时处理，可保证雾霾天气条件下多旋翼无人机的高质量成像，且增强了无人机成像系统的鲁棒性。

1.2 国内外研究现状

视频图像去雾作为计算机视觉与图像处理领域新兴的研究方向，已被广泛应用于视觉感知增强系统，提高了交通物联网环境下对交通环境分析和判断的可靠性与准确性，因此无人机视觉系统去雾研究具有重要的理论价值和广阔的应用前景。

目前的去雾算法主要针对单幅图像，且已有大量研究成果。多旋翼人机在飞行过程中机载摄像头移动频繁，拍摄到的场景变化明显，已有的视频图像去雾处理都是在假设相机固定的情况下将上一帧求得的透射率图用于下一帧，显然这种视频去雾方法不适用于多旋翼无人机，且由于视频可以简单地看作连续的图像序列，因此针对单幅图像去雾的方法也可用于视频去雾，因此本文采用对连续单帧图像去雾的方式实现视频去雾效果。目前，雾天降质图像的清晰化方法主要分为：基于图像增强的方法和基于物理模型的退化图像复原方法^[4]。

1.2.1 基于非模型的视频图像增强方法

基于图像增强的去雾方法不需考虑图像质量退化原因，而是从人类视觉感受出发，突显某些按照特定需要的信息，削弱或去除某些次要信息。此类去雾方法主要包括：直方图均衡化^[5]、Retinex算法^[6]、小波分析^[7]和基于大气调制传递方程^[8]的方法。Kim等^[9]提出了局部直方图均衡化方法执行简单，针对单景深图像能取得较好的图像增强效果。Retinex是基于人类视觉认知功能构建的一种描述颜色不变形的模型，目前较常用的方法有单尺度Retinex、多尺度 Retinex和带色彩恢复的多尺度Retinex等。孙伟等^[10]在利用基于大气调制传递函数的方法进行图像去雾方面做了积极尝试，并在抑制背景干扰和快速双边滤波等方面进行了改进。其优势在于算法处理的时间复杂度较低，通常可达到处理视频文件的要求。但这类方法大多只从单帧图像出发，并没有考虑视频帧间的依赖关系，增强结果会出现前后帧不协调的现象。此外，基于图像增强的去雾方法对整幅图像采取相同操作，未考虑深度信息对图像去雾效果的影响，抑制了此类方法在真实环境中的应用。

1.2.2 基于物理模型的视频图像增强方法

基于物理模型的去雾算法的重点与难点是对物理模型中的参数进行最优估计。Tan等^[11]假设无雾图像的对比度高于有雾图像的对比度，通过最大化局部对比度实现图像去雾。该方法可以明显改善降质图像的对比度，但复原后的图像中容易出现颜色过饱和的问题。Fattal^[12]假设物体表面投影与介质传输函数是局部不相关的，利用独立成分分析法估计出图像的传输函数，最后运用马尔科夫随机场复原出无雾图像。Fattal的方法去雾效果较自然，但此方法在低信噪比区域容易失效。2009年He等^[13]根据对大量无雾图像统计规律的分析提出了基于暗通道先验的图像去雾方法，一经提出就得到了广泛的引用，被公认是当前去雾最好的算法。但是此种方法中的透射率优化部分采用了软抠图算法，该方法时间复杂度极高，一张分辨率为600*400的含雾图像需要大约10-20s的时间，处理速度过慢,无法满足视频图像去雾的实时性要求。针对这个问题，2015年He等^[14]又提出了一种快速导向滤波方法，其本质是在原有导向滤波算法的基础上，通过下采样减少像素点，计算线性系数后进行上采样回复到原有的尺寸大小，进一步降低了算法时间复杂度。Tarel等^[15]假设大气耗散函数在局部区域内变化平缓，利用中值滤波代替He等算法中的最小值滤波估计介质透射系数。Tarel等的算法在较大程度上提高了算法运行速度，但是中值滤波的边缘保持能力较差，因此其在景深突变处的复原效果不太理想。Meng等^[16]在He等算法的基础上对透射率函数进行边界约束，并利用正则化方法优化透射率。Meng等的算法在细节保持和颜色保真方面具有优越的性能，但是此算法中用到的形态学运算会导致复原结果产生伪影。此外，这些基于暗通道先验的改进算法在大片天空区域都极易失效，难以复原出令人满意的清晰无雾图像。总的来说，相比于第一类方法，尽管此类算法运算复杂度较高，但由于其处理结果在视觉上有良好的主观感受，使其已成为目前图像去雾的主流方法。

1.2.3 主流嵌入式图像处理系统方案

嵌入式系统实现图像处理技术的方法主要有三种：基于FPGA的图像处理^[17]、基于ARM的图像处理^[18]以及基于DSP的图像处理^[19]。三种技术方案各有其优点：FPGA具有灵活的开发方式，简单易用，逻辑接口设计方便的优点。而ARM也可以借助其通用的开发软件或者支持它的操作系统进行多种应用的扩展。而通用的DSP则通过编程就可以应用到广泛的产品中，并且主流制造商生产的DSP已能满足算法结构复杂、运算速度高、寻址方式灵活和通信性能强大等需求。

1.3 研究内容和技术路线

1.3.1 研究内容

鉴于国内外相关研究现状，论文做出如下三点总结：

（1）基于图像增强的方法容易使图像失真，而基于物理模型的退化图像复原方法可以较好的保存图像信息，适合在真实场景下使用。

（2）目前多旋翼无人机视觉感知增强的研究与应用方兴未艾，仍缺乏雾霾天气条件下多旋翼无人机视觉感知增强的实际应用，主要原因为目前的视频图像处理多为传统PC图像处理，且多为研究性工作，加之近几年多旋翼无人机才得到大力的发展，目前的相关应用较少。