英语原文共 5 页，剩余内容已隐藏，支付完成后下载完整资料

基于合成视频和真实视频的背景分离算法评估综述

安德鲁斯·索布拉尔¹ , 安托万·瓦卡万特²

¹ (法国罗谢尔大学MIA实验室)

²（奥弗涅大学，ISIT，UMR6284，法国克莱蒙特费朗，F-63001）

摘 要: 背景分离是许多计算机视觉系统中的一个关键步骤，因为它首先被应用于检测视频流中的运动对象。许多算法被设计用来从序列的背景中分割前景对象。在本文中，我们建议使用BMC（Background Models Challenge）数据集，并比较BGS库中实现的29种方法。从这一大组不同的BG方法中，我们进行了相关的实验分析，从处理器/内存需求的角度来评估它们的健壮性和实际性能。

关键词: 背景分离法；运动检测；前景分割

1.介绍

背景分离（BS）是许多计算机视觉系统中的一个关键步骤，因为它最开始被应用于检测视频流中的运动对象，而不需要对这些对象有任何先验知识[40]。自20世纪90年代以来，BS被广泛研究，主要用于视频监控应用，因为首先需要检测人、车辆、动物等，然后才能操作更复杂的步骤例如入侵检测、跟踪、人员计数等。许多算法被设计用于从序列的背景中分割前景对象，并且通常采用相同的方案[4]：

后台初始化：得益于固定数量的帧，这一步骤致力于建立一个背景模型。该模型可以通过多种方式（统计、模糊、神经启发等）进行设计。

前景检测：在接下来的帧中，将当前帧和背景模型之间进行比较。这个分离带来对于场景中前景的计算。

背景维护：在这个检测过程中，图像也会被分析，以便相对于学习率更新在初始化步骤中学习到的背景模型。例如，长时间不移动的物体应该被整合在背景中。

尽管对这类算法的评估是个重要问题，在文献中也只有少数文章涉及[2,13,33]。此外，由于它们是在较短的时间内进行的，因此这些工作没有涵盖文献中的大量算法。最近，由于缺乏持久的参考，出现了几个基准，完全可以在Web上使用，如ChangeDetection.net[20]、SABS（斯图加特人工背景分离法数据集）[8]，或BMC（背景模型挑战）[42]。这些数据集允许作者下载具有挑战性的视频，并将他们的作品与经典的和近期的作品进行比较。

在本文中，我们建议使用BMC数据集，它具有包含合成和真实序列的独创性（更准确地说，它由20个合成视频和9个真实视频组成）。在这个基准测试中，使用一个软件（BMC向导）计算四个质量度量。其中一些对BS非常重要，在其他基准（即SSIM[43]和D-Score[28]）中并不常见。我们比较了BGS库（背景分离算法库）中实现的29种方法[36]。得益于这个库，它涵盖了大量来自文献中的算法集合。因此，我们在这里用多种方法作出一对背景分离方法的大规模比较。

在第二节中，我们介绍了背景分离的一个实用的现状，与BGS库相关。BMC和BGS库都将在第3节中简要介绍。第4节说明了评估过程。最后，我们在第5节讨论了所得结果和可能的更进一步的工作。

图1 750次迭代后的自适应背景学习（alpha;=0:01）

2．目前技术水平

在本节中，我们将概述与BGS库相关的最著名的BS方法。任何读者也可以参考[3,7]中更完整的技术状态。在下面，我们采用粗体字母表示方程中的向量或矩阵，大写字母表示集合（矩阵、图像等），小写字母表示规范元素（如像素、标量），并且我们在算法的表示中默认考虑彩色像素，这意味着像素由三个部分（例如R、G、B）。因此，相关变量可以是向量，并且图像始终被视为矩阵。如有必要，将在文本中指定使用特殊的颜色空间（例如灰度图像）。

2.1基本模型

基本上，背景分离过程主要是创建一个背景模型。简单地说，这可以通过手动设置表示背景的静态图像并且没有移动对象来完成。对于每个视频帧，我们计算当前帧和静态图像之间的绝对差。在本文的其余部分中，此方法称为静态帧差分。但是，静态图像不是最佳选择，如果环境光照发生变化，前景分割可能会严重失败。或者，可以使用前一帧而不是静态帧。这种方法称为进一步帧差分，可以处理一些背景变化，但如果移动对象突然停止，则会失败。在[27]中，作者建议通过连续图像之间像素的算术平均（或加权平均）来初始化和维护背景模型。因此，给定长度为l的视频V，其中包含由V={}定义的灰度图像，背景模型B可以定义为：

B = (1)

通常情况下，公式（1）用于初始化背景模型。但是，在初始化之后，为了执行背景模型维护，通常通过以下方式递归使用公式（1）：

= (1-alpha;) alpha; (2)

其中是时间 tisin;{1,l}的背景模型；alpha;isin;[0,1]是学习率。这种方法的主要优点是在场景发生变化时自适应地维护背景模型（见图1）。之后，[34]需要说明的是一些前景像素包含在背景模型更新中。针对这一问题，提出了一种自适应选择方法。在这种方法中，只更新没有移动对象的区域。

在建立背景模型之后，下一步是前景检测。第一种也是最常用的方法是计算当前帧和背景模型之间的绝对差，类似于静态帧差分法。然而，在这种情况下，背景模型是连续适应的，而不是静态图像。前景检测可以通过其他方式进行。最近的方法，例如

文献[1,24,23,26,46]建议使用颜色、纹理和边缘特征来改进前景检测。在[46]中，作者提出了新的方法，融合纹理和颜色特征的BS。在文献[26]中，作者研究了不同颜色空间在噪声和阴影敏感性方面对分割结果的影响。文[23]提出了一种基于亚像素边缘映射的视频序列图像背景建模方法。文[24]提出了一种新的基于纹理、颜色和强度信息的背景分离算法。在文献[1]中，作者提出了一种融合纹理特征、RGB颜色特征和Sobel边缘检测的背景建模与减影新技术。

图2 一个使用BGSLBARARY的OpenCV C MFC应用程序。

表1

BGS库中可用的背景分离算法

表2

为BMC生成的合成数据的可能组合及其各自的编号。

图3 BMC基准中合成（顶部）和真实（底部）视频及其相关地面真实性的示例。

表3

每个BS算法的参数设置

T=阈值，LF=学习框架，SR=采样，HS=历史大小，gamma;=权重，alpha;=（alpha;或学习率），rho;=灵敏度，sigma;=噪声方差，n=高斯，ED=嵌入维数，TS=训练步骤。

2.2 统计模型

最流行的BS方法之一是基于Stauffer和Grimson[38]提出的参数概率背景模型，并由Hayman和Eklundh[21]改进。在该算法中，每个像素颜色的分布由给定颜色空间中定义的加权高斯分布之和表示：高斯混合模型（GMM）。这些分布通常使用在线期望最小化算法进行更新，并增强高斯分布的使用，如[44]所示（另见[2]）。

更准确地说，当处理新图像时，GMM参数（针对所有像素）被更新以解释颜色变化。实际上，在时刻t，我们认为从像素的度量为每个像素生成的模型mt是正确的。像素是背景像素的可能性为：

其中d是度量 的颜色空间的维数，每个高斯n由其和协方差矩阵来描述。高斯数是用因子 加权的, 表示矩阵行列式。每个像素的信道（例如R、G、B）被看作是独立的，即：

在原稿中，左下标是指信道号。然而，通常使用向量来描述像素三个分量的方差。在这种情况下，为了更新GMM，我们首先将度量与一个高斯 相关联⁰ ,其中

其中k是2或3，是一个向量表示指数n的高斯分布的方差。如果所有左边的向量分量小于K。如果用高斯分布解释场景中的背景，则此度量值表示背景。事实上，的权重很高。然后更新此高斯模型：

其中是学习系数，表示模型的调整时间。对于所有高斯，平均值和方差不被修改，但是：。如果公式（5）的测试失败，像素将关联到前景。具有最小权重的高斯函数用当前度量重新初始化：，其中为高方差。我们还将这些假设应用于GMM初始化。

GMM在室外场景分析中表现出了良好的性能，已经成为一种非常流行的BS算法。即使这种方法能够处理低照度变化，但照明和阴影的快速变化仍然存在问题。此外，如果使用有噪声的视频帧来实现，则学习阶段可能效率低下。为了解决这些问题，许多作者研究了改进基于GMM的BS算法的不同方法。

Kaewtrakulpong和Bowden[25]提出修改该模型中的更新方程，以提高系统对光照变化的适应性。然后，Tuzel等人引入了层模型。[41]基于三维多元高斯分布。利用递归贝叶斯学习方法，可以估计模型的方差分布和均值。Chen等人，[10] 提出了一种基于GMM和对比度直方图相结合的分层分块BS算法。Zivkovic[48,49]提出自动计算每个像素的正确高斯分布数，而不是将其设置为常数。不仅仅是用颜色来描述像素的内容，[45]还结合了一些特性。

图4 BGS库方法的基准

表4

精确性、召回率和F-测量指标。

表5

在BMC数据集中评估BS算法的全局得分。前5个最佳方法以黄色突出显示。每组最好的方法都是红色的。粗体度量值显示F度量、D度量和SSIM的最佳分数。

2.3模糊模型

最近，一些作者在背景分离的不同步骤中引入了模糊概念[4]。在[46]中，作者使用Sugeno积分对输入图像和背景模型的颜色和纹理特征进行相似性度量来进行背景分离[39]。后来[14]用Choquet积分得到了更好的结果[11]。随后[1]使用了颜色、边缘和纹理特征的Choquet积分。在文献[34]中，作者提出了一个模糊函数来计算前景提取和更新背景模型。要用模糊运行平均值更新背景模型，[34]建议使用线性饱和函数，而不是通过应用以下公式定义的清晰限制器函数：

其中T是阈值。然而，式（10）得到的前景蒙版的实际值为[0,1]。要确定二进制前景掩码，[34]建议使用低通滤波器（LPF）：

等式（11）的优点是可以在前景掩模中减少噪声。在文献[5,16,17]中，作者提出了一种处理多模背景不确定性的2型模糊方法。文献[35]使用了一组模糊规则来改进运动目标的检测。我们可以参考文献[4]来全面回顾BS领域中基于模糊的方法。

图5 BMC数据集前5名最佳方法的F-测度、D-得分和SSIM值。红色为PBA，绿色为多层RBG，蓝色为LBAdaptiveSOM，青色为DPWrenGABGS，品红色为Aussianv1BGS混合物。（为了解释本图图例中对颜色的引用，请参考本文的web版本。）

图6 在BMC数据集的所有视频中，来自前5个最佳BS算法的F-Measure与SSIM值。四舍五入点是合成视频的值和真实视频的平方点。

2.4神经模糊方法

基本上，神经网络学习对图像的每个像素进行分类。对于每个像素，神经网络确定一个像素是属于前景还是背景[3]。在[12]中，作者使用了一个包含124个神经元的多层前向神经网络。文献[12]提出的背景分割方法依赖于一种改进

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[409764]，资料为PDF文档或Word文档，PDF文档可免费转换为Word