英语原文共 6 页，剩余内容已隐藏，支付完成后下载完整资料

背景差分技术：评估

摘要：用静态摄像头检测移动物体方面，背景差分是一种广泛使用的方法。最近几年已经提出了许多不同的方法，新手和专家都不太了解这些方法的优点和局限性。为了解决这个问题，本文提供了这些主要方法的评估和基于速度，内存需求，准确性的原始分类。这样的评估可以有效地指导设计者为一个给定的应用有原则性地选择最合适的方法。被评估的方法包括参数和非参数背景密度评估以及空间相关性的方法。

关键词：背景差分，移动物体检测，参数和非参数方法，空间相关性

1. 引言

用静态摄像头检测移动物体方面，背景差分是一种广泛使用的方法。该方法的基本原理是依赖从当前帧检测移动物体和从参考帧检测移动物体之间的区别，这个区别通常被称为“背景图像”或“背景模型”。作为一个参考物，背景图像必须是未移动物体的现场表示，并且还必须保持定期更新来适应不同亮度条件和几何设置。更复杂的模型已经扩展了背景差分的概念而使其超越了字面意思。

在最近的文献中，几种执行背景差分的方法已经被提出来了。所有这些方法都尝试从帧的时间序列有效地估计背景模型。但是，存在各种各样的技术，专家和新手都不太了解每个方法的优点和局限性。本文提供了这些主要方法的完整评估（由于空间限制而带有不可避免的除外条款）和基于速度，内存需求，准确性的原始分类。

本文剩下的部分安排如下：第2部分描述了每个被评估方法的主要特点。第3部分依次介绍了各个方法速度，内存需求，准确性的比较。结论性的言论被安排在本文的末尾。

2.被评估的方法：从简单到复杂

本文所评估的方法从旨在提高速度和限制内存需求的简单方法到旨在任何情况下实现尽可能高准确性的复杂方法。但是，所有的方法都是为了实时性能，因此速度下界总是存在的。以下是这些被评估的方法：

• 运行高斯平均
• 时间中值滤波器
• 高斯混合模型
• 核密度估计（KDE）
• 连续核密度逼近
• 图像变化的共存
• 本征背景

2.1运行高斯平均

雷恩等人已经提出在每个（i，j）像素位置独立地给背景建模[1]。该模型是基于理想拟合最后n个像素值的高斯概率密度函数（pdf）。为了避免在每一个新的帧时间从头开始拟合概率密度函数，t，运行（在线累积）平均值被计算如下：

ut=aIt （1—a）ut—1 （1）

其中It是像素的当前值，ut是先前的平均值；a是经验权重，其经常被选作稳定和快速更新之间的一个权衡。尽管没有明确指出高斯概率密度函数的其他参数，标准差ot可以被类似地计算出来。除了速度，运行平均的优点是低内存的要求：对于每一个像素，由两个参数（ut，ot）组成，而不是用最后n个像素值缓冲。

在每个t帧时，如果下列不等式成立，It像素的值可以被归类为前景像素；

|It—ut|gt;ko （2）

否则，It将被归类为背景。背景差分这个名称被广泛使用表明这组技术实际来源于（2）。

科勒等人说（1）中的模型过分更新[2]。出于这个原因，他们建议修改模型更新如下：

ut=Mut—1 （1—M）（aIt （1—a）ut—1） （3）

其中对应一个前景值时，二进制值M是1，否则是0。这个方法也被称为选择性背景更新。

正如[1]中模型被提出来是为了强度图像，也可以扩展不同颜色的组件空间，比如（R,G,B），（Y,U,V）等等。此外，如果实时需求限制计算负荷，u和o的更新速度都可以被设置成少于采样（帧）速度。但是，背景模型的更新速度越低，一个系统能够快速应对的实际背景动态就越少。

2.2时间中值滤波器

不同的作者认为，其他形式的时间平均执行比（1）所示的好。Lo和Velastin提议使用最后n帧的中值作为背景模型[3]。Cucchiara等人认为这样的一个中值提供了一个适当的背景模型。此外，一种用一组特殊的值，该组特殊的值包含最后n个帧值，子采样帧和w次已经计算出来的中值，来计算中值的想法被提出来了[4]。这种组合增加了背景模型的稳定性。

基于中值方法的主要局限性是它的计算需要最近像素值的缓冲。此外，中值滤波器不适应严格的统计描述，并且不提供调节差分阈值的偏差测量。

2.3高斯混合模型

随着时间的推移，不同的背景对象可能会出现在同一个（i，j）像素位置。当这是由于场景几何形状的永久变化时，目前所评估的所有模型都会或多或少地迅速地调整来反映当前背景对象的值。但是，背景对象的变化有时候并不是永久的，并且该变化的出现率快于背景更新率。一个典型例子就是一个有树的室外场景部分覆盖了建筑：一个相同的（i，j）像素位置将显示来自树叶，树枝和建筑本身的值。其他例子可以很容易地从下雪，下雨或者在沙滩上看海浪中得出。在这些情况下，一个单一值的背景不是合适的模型。

斯托弗和伊丽莎白提出了案例使多值背景模型能够处理多种背景对象[5]。实际上，这个被提出来的模型可以被更合理地定义成一个图像模型，因为它提供了前景值和背景值二者的描述。

斯托弗和伊丽莎白描述了在时间t通过高斯混合模型的方法来观察某一像素值的概率x：

（4）

高斯分布认为每个k只能描述一个可观测的背景或前景对象。在实际情况下，k是3和5之间的值。高斯函数是多元函数，描述了红色，绿色和蓝色的值。如果假定这些值独立，那么协方差矩阵（4）简化成对角线矩阵。此外，如果假定三个通道的标准偏差相同，那么协方差矩阵进一步减少到一个简单的（4）。

如果（4）成为一个单独的背景模型，那么需要提供前景和背景分布之间差别的标准。在[5]中，这个标准是这样的：首先，基于峰值振幅wi和标准偏差oi的比率，所有的分布都排名。该假设是若分布越高越紧凑，则该分布越有可能属于背景。其次，第一个B分布排名顺序满足：

（5）

其中T是一个指定的阈值，被认为是背景。

在每个t帧时间，必须同时解决两个问题：（a）分配新的观察值xt来实现最佳匹配分布和（b）估计更新的模型参数。这些并发问题通过一个基于最后n帧缓冲的期望最大化（EM）算法能够被解决。但是，成本将是非常昂贵的，并且这些术语的匹配是近似的：所有分布满足

（6）

排名顺序第一的被认为是xt的一个匹配。此外，参数（6）被更新仅仅是因为这个匹配分布。如果没有找到匹配，那么排名最后的分布将会被一个新的以xt为中心的分布所取代。

2.4核密度估计

通过最近大多数被归类为背景值的值的直方图可以给出背景概率密度函数的近似值。但是，因为样本数量必定是有限的，所以这样一个近似有重大缺陷：直方图，作为一个阶跃函数，可能会产生过多的建模时间，未知的概率密度函数，真正的概率密度函数的“尾巴”经常消失。为了解决这样的问题，Elgammal等人已经提出通过一个非参数模型来给背景分布建模，该非参数模型是基于最后n个背景缓冲值的核密度估计（KDE）[7]。核密度估计保证直方图的平滑，连续。

在[7]中，背景的概率密度函数xi是以最近n个背景值为中心的高斯内核的总和：

（7）

跟（4）一样，这个模型似乎是处理高斯函数的和。然而，差异巨大：在（4）中，每个高斯函数描述概率密度函数的一个主要模式，并且随着时间该高斯函数一直被更新；这里，相反，一个高斯函数仅仅描述一个样本数据。如果不知道背景值，未分类的样本数据可以用在他们的地方；随着模型不断更新，最初的不准确性将会被恢复。根据（7），如果（7），分类xi，作为前景可以被直接描述出来。

2.1至2.3部分的所有方法都在单一像素位置上独立地建模。但是，很直观的是在建模和值的分类过程中，邻近位置上的像素将会表现出空间相关性。为了利用这个性质，在改善被分类的前景像素的二进制映射的过程中，各种形态的操作被采用。在[7]中，相反，在模型层面这一相同的问题被解决了。

2.5连续核密度逼近

均值漂移矢量技术最近被用于各种模式识别问题，比如图像分割和跟踪[8,9]。均值漂移矢量是一种有效的梯度上升技术，能够从样本数据中通过最小的一组假设来检测真正的概率密度函数的主要模式（不像斯托弗和伊丽莎白的方法，模式的数量是不受限制的）。但是，它的计算成本非常高，因为它是一个迭代的技术并且它需要融合整个数据空间的研究。因此，它并不能马上应用于给像素级别的背景概率密度函数建模。

近期已经有一些方法试图解决这个问题。在[10]中，Piccardi和Jan提出一些计算优化承诺减少计算缺陷。此外，在最近的一次来自汉等人的文章中，均值漂移矢量仅仅用于离线模型初始化[11]。在这一步中，背景概率密度函数的高斯模式的初始设置从一个初始样本集中检测出来。不提供实时模型更新，而提供简单启发法来处理模式适应，创新和合并。在他们的论文中，汉等人比较了，在一个500帧测试视频中，用他们自己的方法得到的概率密度函数和用核密度估计方法得到的概率密度函数。在[11]的测试视频中，显示的模式的数量在3到11之间变化，均值是8。

2.6图像变化的共存

Seki等人在[12]中试图通过利用空间共存的图像变化，来超越单一时间平均的想法。他们的主要想法是随着时间推移，背景像素的邻近块随着时间应该经历类似的变化。尽管这个假设被证明适用于属于同一背景对象的块（比如充满树叶的一块区域），但是它显然不会保持块在不同背景对象的边界。

在[12]中的这个方法可以概括如下:不是作用于像素分辨率，而是作用于N*N的像素块。这个方法拥有更好地速度和稳定性。

在[11]中，随着时间推移，学习阶段是否应该重复来保证模型更新是不确定的。因为这个模型是基于变化的，它可能会显示一种自然稳定性来限制在整个照度等级的变化。但是，需要一个确定的更新率来应对更多扩展照度变化。

2.7本征背景

奥利弗等人在[13]中提出了这个方法，该方法基于特征值分解，但是这一次应用于整个图像而不是块。这样一个扩展空间域可以广泛探索空间相关性和避免块分区的平铺效应。

上述过程可以通过变化来提高效率，但是都拥有类似的原理。然而，在[13]中，它没有显式地指出什么样的图像应该是初始样本的一部分，也没有显式地指出随着时间的推移这样的模型是否应该被更新以及如何被更新。

3.性能分析

该部分提出了基于速度，内存需求和准确性的性能比较分析。表1是性能比较分析的大概结果。

3.1速度

在所评估的方法当中，速度最快的是运行高斯平均方法。在该方法中，对每个像素来说，分类的标准仅仅是阈值的不同，并且背景模型更新仅仅改变1或2个参数。我们定义这个时间复杂度为O（1）。时间中值滤波器也有相似的分类成本，但是模型更新可以被近似为在样本数量ns上是线性的（ns通常是完整的样本集n的子采样）。相应的时间复杂度可以被认为是O（ns）。高斯混合模型的时间复杂度是O（m），其中m是高斯分布的数量，通常在3到5之间取值。分类一个新像素时，核密度估计模型计算以过去n帧值为中心的高斯内核的值，因此需要提高O（n）的时间复杂度，n通常高达100。但是，通过快速高斯变换来实现效率可以限制实际执行时间[14]。模型更新也有类似的时间复杂度，尽管执行速率可能显著低于帧速率。连续核密度逼近方法的时间复杂度是O（m 1），其中m是逼近的概率密度函数的模式数量。m值没有先验设置，而是取决于实际的数据样本。但是，在[11]里的一个测试视频中，m值在3到11之间取值。最后，本征背景的每个像素的时间复杂度被估计为O（M），其中M是最好的特征向量的数量。在这里，可能的跟模型相关的成本并没有被考虑。

3.2内存需求

对于某些方法，每个像素的内存复杂度与时间复杂度是一样的。这是直观的，就不再细说了。图像变化的共存方法的内存复杂度可以被估计为是O（nK/N2），其中n是训练模型的变化数量，K是它们的维数。然后，N2是分母，表示像素块的成本。因为根据定义K/N2的值很大程度上是小于1的，因此被估计的复杂度是小于O（n）的。在分类时，本征背景方法的每个像素的内存复杂度是O（M），其中M是最好的特征向量的数量。但是，在训练期间，该方法需要配置所有的n个训练图像，内存复杂度是O（n）。

3.3准确性

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[28749]，资料为PDF文档或Word文档，PDF文档可免费转换为Word