1.国内外的研究现状分析

图像融合（ImageFusion）是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于监测。

图像融合作为信息融合的一个分支，是当前国内外信息融合研究中的一个热点。图像融合的数据形式是包含有明暗、色彩、温度、距离以及其他的景物特征的图像。这些图像可以以一幅，或者一列的形式给出。而图像融合是将2张或2张以上的图像信息的融合到1张图像上，使得融合的图像含有更多的信息、能够更方便人来观察或者计算机处理。图像融合的目标是在实际应用目标下将相关信息最大合并的基础上减少输出的不确定度和冗余度。图像融合的优点很明显，它能扩大图像所含有的时间空间信息，减少不确定性，增加可靠性，改进系统的鲁棒性能。

最早的图像融合工作可以追溯到1979年，Daily等人首先把对雷达图像和Landsat- MSS图像的符合图像应用于地质解释,其对图像的处理过程可以看作是最简单的图像融合。到80年代中后期,图像融合技术逐渐开始引起人们的广泛关注，陆续有人将图像融合技术用于遥感多光谱图像的分析和处理。90年代开始，图像融合技术的研究不断呈上升趋势,应用领域遍及遥感图像处理,可见处理,红外图像处理以及医学图像处理等。尤其是近几年,多源图像融合技术已经成为计算机视觉、自动识别、军事应用等领域的研究热点。

在军事上,图像融合技术已经在航天、监控、火力控制合精确制导等方面取得了应用。在欧美的多套大型战区级传感器信息融合演示验证系统中,有相当重要的组成部分是武器平台上或分布式的图像融合装置。

在民用方面,多传感器图像融合已在遥感、医学图像处理、智能机器人等领域得到应用。例如在临床医学上,图像融合可以通过对PET、CT和MRI图像的融合获得更清晰更能表达特征的图像,从而降低医生的误诊率,图像融合技术也开始逐渐应用于计算机辅助显微手术。

在工业制造方面,图像融合技术也可以用于产品检验、材料探伤、复杂设备诊断等方面。

随着图像表示方法需求的快速增长，已经提出了大量的图像融合方法。它们可以简单地分为七类，包括多尺度变换、稀疏表示、神经网络、子空间和基于显著性的方法、混合模型等方法。而此课题采用的就是神经网络中的生成对抗网络。

但是基于传统方法所做出的融合图片，无法适用于更高层次的目标，传统融合方法需要手动设计复杂的活动水平测量和融合规则，现有的基于深度学习的融合方法共有的缺陷仍然存在，即需要设计特定的损失函数来减小某些特定方面的缺陷，而使用生成对抗网络（GAN）对图像做融合操作，可以有效利用其端对端模型的优势，解决传统融合方法中的缺陷。

自1986年BP神经网络模型诞生以来，神经网络在各种领域获得广泛应用。神经网络适合于非线性建模，具有自学习、自组织、自适应能力。在进行图像融合时，神经网络经过训练后把每一幅图像的像素点分割成几类，使每幅图像的像素都有一个隶属度函数矢量组，通过对其提取特征，将其特征表示作为输入来参加融合。