英语原文共 9 页，剩余内容已隐藏，支付完成后下载完整资料

视觉传感器网络在DCT域的多聚焦图像融合

Mohammad Bagher Akbari Haghighat a, Ali Aghagolzadeh a,b,uArr;, Hadi Seyedarabi a

电气和计算机工程学院,大不里士大学大不里士,伊朗
电气和计算机工程学院,大学精工技术,精工,伊朗

摘要

图像融合的目的是将来自多个图像的相关信息结合成为一个图像。基于离散余弦变换(DCT)的图像融合方法在实时系统使用基于DCT的标准图像或视频更高效、更节省时间。现有基于DCT方法受到一些难以描述的不良的影响比如图像模糊或减少输出图像的质量的块效应。此外,其中有些方法很复杂,这否定了简单的基于DCT算法的概念。在本文中提出了一个有效的在DCT域针对多聚焦图像的基于图像方差计算融合方法。由于我们提出的方法简单,它可以很容易地用于实时应用。与最近的一些提议的技术相比，实验结果验证了我们提出的算法的效率改进在输出质量和减少复杂性。

1. 简介

在所有的传感器网络中，每个传感器可以观察环境，生产和传输数据。视觉传感器网络（VSN）是在文献中所用的术语来指代在地理上具有大量的相机监测散布点的系统[1]。在VSN中，传感器可以记录静止图像或者视频序列。因此，输出信息的处理涉及图像处理和机器视觉主题。

视觉传感器或照相机的一个突出特点是生成的数据量很大。这一特点要求更多地处理本地资源，提供仅在概念化水平为代表的有用信息中[2]。图像融合通常被定义为多个源图像组合成更小的一套图像，这通常是一个单一的过程，其中包含比任何单个源图像场景中更准确的描述。图像融合的目标，除了降低网络传输的数据量，也是为了为视觉感知和进一步的计算机处理创建更丰富和合适的新形象[3]。

由于聚焦在光学透镜的有限深度，只在特定深度的对象的聚焦场景中和那些在焦平面的前面或后面会很模糊。在VSN我们有机会使用多聚焦相机延伸焦点深度的机会。

到目前为止，几个研究已集中于在空间域中进行图像融合[4-8]。基于多尺度分解的算法更受欢迎。其基本思想是要在每个源图像上执行多尺度变换，然后整合所有这些分解系数以产生一个合成表示。这些方法通过监测被称为活性水平的大量源图像相结合的方法。该活动级别确定每个源图像的质量。融合既可以可以通过选择具有较大的活动水平的系数进行也可以通过系数的加权平均进行。融合图像最终被执行逆多尺度变换重建。这种方法的实例包括拉普拉斯，梯度，形态金字塔，而离散小波变换（DWT）（更好的一种方法）[9]和移位不变离散小波变换（SIDWT）[10]。后面的两个方法在文献被视为图像融合的标准方法。针对这些方法的一个专业调查可以在[11,12]中找到。

总的来说，大部分的空间域图像融合的方法是复杂而费时的，这并不适合实时应用上执行。在VSN，特别是当节点之间的链路是无线时，用于数据处理消耗的能量比用于通信消耗的能量少得多。因此，在大多数的传感器网络的系统中，数据被传输到其他节点之前被压缩。在VSN，图像在相机节点压缩，然后传送到融合剂，事后，压缩融合图像将被保存或传输到上层节点。然而，当源图像被以（JPEG）标准格式编码时，作为一种普遍标准，当融合图像将被保存或以JPEG格式发送时，则在DCT 域融合方法将更有效率。

我们表示A和B是以JPEG编码标准格式编码在传感器的2幅输出图像并传送到VSN的融合剂。在使用空间域融合方法的情况下，这些图像必须最初被解码并转移到空间域中。然后，在施加融合过程后，融合后的图像为了储存或传播到上层节点，必须被再次编码。但在使用基于DCT的方法的情况下，不需要介绍这些复杂的解码和编码程序。

近日，唐[13]曾考虑降低上述问题的复杂性，并提出了在DCT域的两个图像融合技术，即DCT 平均值法和DCT 对比度法。唐已实施他提出的在JPEG标准中定义的8x8 DCT块方法。 DCT 平均只需服用获得融合图像的所有的输入图像的所有DCT系数的DCT表示的平均值。这种简单平均的方法导致一些包括模糊在内的不良副作用。

对于所谓的第二种技术DCT 对比度法，融合准则或活性水平是计算用于从源图像的块的每63个AC系数的基于对比度测度。随后队每个系数的在源图像相应的块进行比较对比度测量，并选中具有最高活性水平的系数。该输出图像的DCT块由最高对比度测量的AC系数通过比较处理组成，输出图像中的各块的DC系数是相应块的输入图像的平DC系数的平均值。此算法也计算每个系数的对比度测量复杂度。此外，它也具有一些包括由于在DCT系数的多样选择的操作而产生的块效应在内的副作用。

为了减少并发症的实时应用、提高输出图像的质量，本文提出一种在DCT域的图像融合技术。这里，8x 8 DCT块中的系数是作为将用于活动水平的对比标准。然后，一致性验证（CV）阶段增加输出图像的质量。模拟的结果和比较表明，输出图像在质量上有相当大的改善和减少了计算复杂度。

本文组织如下：第2节中，讨论我们方法的基本概念是基于计算DCT域的方差。第3节介绍我们提出的图像融合方法。在第4节，对模拟结果进行展示和分析;最后主得出结论在第5节。

2. DCT块分析

2.1 DCT的压缩标准

几个基于DCT的商业标准被广泛用于图像和视频压缩。一些例子包括了JPEG静止图像编码标准[14]，运动JPEG，MPEG和ITU H26X视频编码标准[15]。

在JPEG编码器，给定的图像首先分成不重叠的8x 8的图像块，一幅图像 8位的像素范围为0：255，所以在编码过程以一个电平转换的阶段开始。为了减少DC系数的量，输入数据被转到范围为128：127，使得它成为分布式零矩阵。然后对每个8x8块进行二维DCT。此后，在每个块的DCT系数利用规定的量化表量化。在量化步骤中，大量的小的系数（通常为高频分量）被量化到零，这使得该量化的过程为有损过程。然后 8x8块的量化系数被以锯齿次序重排使得具有零值的高频系数在数组末尾组合重新排列在一起。接下来，运行级别程序，霍夫曼编码器被用于对系数进行编码。在解码器侧，对每个块的压缩数据被解码，然后通过使用量化表去量化（重构）。最后，重建系数被变换回经过逆DCT变换的图像块。

2.2 DCT域的方差作为对比标准

一个图像x（M，N）的NxN块二维DCT变换被定义为：

其中，K，L = 0,1，。 。 。 ，N-1

逆DCT变换DCT）也被定义为：

其中，M，N = 0，1，。 。 。 ，N-1。

在（1）中，d（0,0）DC系数和D（K，L）的是该块的AC系数。归一化的变换系数定义如下：

(4)

平均值mu;和方差，一个N x N块在空间域中的计算公式为：

正如我们所知，一个N x N块的平均值mu;，和方差是由给出。随着一点的数学计算，我们还可以提供DCT系数块的方差。我们有：

通过交换求和的位置，我们将有：

然后，从（6）和（7）可得：

总之，一个N x N的方差sigma;的像素可以从它的DCT系数通过DCT块的归一化的AC系数的平方之和精确计算。

3. 建议方法：基于DCT域方差的图像融合

在多焦点的图像中，聚焦区域包含更多的信息。这些信息隐藏于该清晰的细节对应于高方差区域的背后。方差值通常假定为在图像处理过程的对比度测量程序。它被示于在DCT域的方差值很容易计算的第2个区域，。因此，我们可以使用方差的值作为源图像的8x8块的活性水平的尺寸。

图1显示出一个JPEG编码器与VSN图像融合相结合的总体框架。这里，为简单起见，我们考虑只是两个源图像A和B的处理，但是该算法可以直接地用于不仅仅两幅源图像的更多扩展。此外，假设在源图像被预先用一些登记对准方法。

如图如图1所示，划分源图像划分为8x8块个像素后计算每个块的DCT系数，完成融合算法。这里计算从源图像相应的块的方差值被由（8）得出的算法作为活动级别的尺度。然后，具有最高活性水平的块被选择为合适的一个为融合图像。最后，该融合图像的DCT表示由源图像A和B的最大方差值得出。

图1 JPEG编码器的一般框架结合提出的图像融合方法

图2 用于模拟的图像

3.1 一致性验证（CV）

伴随上述方法所述，假设一个场景的一个包括若干块的区域是完全在图像A的里面，在这个区域中的所有的块必须从图像A中选择，由于噪声或选择过程中的不良影响会有一定的误差，可导致从图像B中做出一些错误的选择.该缺陷可以通过一致性验证过程来解决。不正确的决策图表现在图 1中。

参考文献[9]中的Li等人引入了可以在一致性验证中使用的多数滤波器。如果中心块来自源图像B，而周围大多数块来自源图像，该中心样品被简单地切换到源图像A相应的模块。融合图像最终获得基于该修改决定的映射。

在这里，一致性验证被应用于应用3 x 3个周围窗口。如果窗口大小增加时，输出的图像质量将以复杂度增加为代价明显地提升。应该提到的是，我们的实验结果表明使用5x5窗口代替并考虑24个项目，采用3x3窗口对于两个间接的时间和考虑总数只有16的物品，将在质量和复杂性上更有效。

表1 SSIM值平均算法。

表2 算法的平均运行时间 (微秒每8x8块)

图3 “摄影师”和融合的结果图

图（a）是聚焦在右边的第一个源图像。 图（b）是聚焦在右边的第二个源图像。图（c）DCT 平均值结果。图（d）是DCT 对比度结果。图 （e）是DWT算法的结果。图（f）是SIDWT算法结果。图（g）是所提出的DCT 方差算法结果。 图（h）是本文提出的算法与一致性验证DCT 差额 CV的结果。 （ⅰ），（J），（K），（L），（M），（n）为（c），（D），（E），（F），（g），（ H）分别局部放大版本

4. 实验结果与分析

在本节中，所呈现的图像融合方法的实验结果和评价通过与比较其他四家著名的技术结果被获得。其中两个是基于DCT的图像融合技术，即DCT 平均和DCT 对比（由文献[13]提出），另外两个技术是标准的基于小波变换的融合技术（DWT）[9]和移位不变基于小波的技术（SIDWT）[10]已经在第1章被简单地说明。

4.1 性能指标

虽然已经有很多尝试，普遍接受的图像融合性能客观评价标准还没有出现。这个问题的难度在于定义一个理想的融合图像。除了主观评价，以便具有的融合方法的定量比较，我们采用由Li等人提出的质量度量。 （文献[9]）。这里的失焦图像是由一些地区的低通滤波在一个理想的图象上人工创造的。结构相似性度量（SSIM）[16]，作为一个著名的质量标准，在本节用于客观评价。

另一方面，在实际应用中，很难有被聚焦在其所有的部件的理想图象。因此，为了评估我们的真正的多对焦的图像算法，我们将使用先进设备，最先进的一些融合性能指标如[17]的Piella指标和[18]的Petrovic指标。 Piella指标（QW）给出包含在每个源图像的已被转移到融合图像的显着信息有多少的的指示 [17]。彼得罗维奇公制（QAB / F）计量是从源图像（A和B）转移到融合图像（F）的边缘信息相对量[18]。此外，算法的运行时间，在模拟的相同的情况下，可以看作是一个复杂度标准。

4.2 实验情况

融合方法的模拟是由配备英特尔酷睿2 P8400，2.26 GHz的，FSB 为1066 MHz的处理器进行的。对于基于小波变换的方法，用DBSS（2,2）的DWT和SIDWT与基于三级分解的哈尔基础被提出。对于这两种方法中，图像融合工具箱，由Rockinger友情提供的模拟[19]被使用。

图4 数据库源图像“百事可乐”和融合结果:和图3一样的顺序

4.3 融合结果评价

最初，算法是对十八对夫妻人为通过模糊原始图像2展示的六个标准原型意象产生的具有不同半径5,7和9个像素的三个盘源图像。这几幅图像在某种意义上平衡，该模糊发生在图像的左和右半部分两者。 18实验的平均SSIM值图像由表1给出。前两列是由唐[13]所提出的基于DCT的算法的平均SSIM值。第三和第四列分别对应于在[9,10]中提出DWT和SIDWT技术。第五列的标题为“DCT 差异”是关系到我们的算法没有一致性验证，最后在最后一列应用一致性验证（CV）后，证明了我们提出的算法的平均SSIM值在3x 3个周围有SSIM的最大价值。

每8x8图像块个的重建在由表2给出的基于DCT方法运行时间的平均周期。如上所述，与其它技术相比，当待融合图像以JPEG格式保存或当融合图像被保存/发送时，基于DCT的算法相当快且计算花贵较少。

从表1中给出的平均SSIM值可以清楚地看出，该算法即使没有CV也比其他基于DCT的算法更有效率。此外，以一点点的复杂性为代价应用CV后，有一个相当大的质量改进，甚至跑赢小波算法。此外，表2中给出的算法的平均运行时间值，证明我们提出的算法的简单性，甚至比在应用CV后而导致质量明显提高的算法花费更少的时间。

所得图像的主观测试为客观评价提供依据。由于本文空间不足，只有一个测试图像组所得的图像示于图3。通过仔细观察融合结果，得出的结论是该方法的DCT 平均值导致一些包括降低对比度、模糊融合图像（图3c）在内的的副作用。方法DCT 对比度导致块效应（图3d）。此外，还有一些文件的基于小波的方法DWT和SIDWT，在图4 E和f中分别给出。

我们可以看到，在分别相应于DWT和SIDWT的放大图像图3K和l中可

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[151625]，资料为PDF文档或Word文档，PDF文档可免费转换为Word