英语原文共 6 页，剩余内容已隐藏，支付完成后下载完整资料

GrabCut使用迭代图形切割的交互式前景提取

卡斯滕·罗瑟 弗拉基米尔·科尔莫戈洛夫 安德鲁·布莱克

英国剑桥微软研究

图1：抓取的三个例子。用户拖动对象周围的矩形。然后自动提取对象。

摘要：静止图像中有效、交互式的前景/背景分割问题在图像编辑中具有重要的现实意义。经典的图像分割工具使用纹理（颜色）信息，例如魔杖，或边缘（对比度）信息，例如智能剪刀。近年来，一种基于图割优化的方法被成功地结合了这两种信息。本文从三个方面扩展了图切割法。首先，我们开发了一个更强大的迭代版本的优化。其次，利用迭代算法的强大功能，大大简化了给定结果质量所需的用户交互。第三，提出了一种“边界光顺”的反投影算法，可以同时估计物体边界周围的阿尔法光顺和前景像素的颜色。我们表明，对于中等难度的例子，所提出的方法优于竞争工具。

CR类别：I.3.3【计算机图形】：图片/图像生成显示算法；I.3.6【计算机图形】：方法和技术交互技术；I.4.6【图像处理和计算机视觉】：分割像素分类；分割

关键词：交互式图像分割、图形切割、图像编辑、前景提取、阿尔法抠图

1．介绍

本文讨论了复杂环境中前景对象的有效、交互式的超处理问题，背景不能被简单地减去。生成的前景对象是一个阿尔法蒙版，它重新调整了前景和背景的比例。其目的是为了实现高性能，而用户只需进行适度的交互工作。此任务的高性能包括：从背景中准确分割对象；主观上令人信服的阿尔法值，以响应模糊、混合像素和透明度；干净的前景颜色，源背景无彩色出血。一般来说，交互工作的程度从在劳动密集型极端编辑单个像素到在几个位置只触摸前景和/或背景。

1.1以前的交互铺垫方法

下面我们将介绍并比较几种最先进的交互式分割工具：魔杖、智能剪刀、图形切割和水平集，以及用于铺垫的工具：贝叶斯抠图和淘汰。图2显示了它们在matting任务上的结果，以及实现这些结果所需的用户交互程度。

魔术棒 从用户指定的点或区域开始，组成一个连接像素的区域，使所有选定的像素都在指定区域的颜色统计的可调公差范围内。虽然用户界面很简单，但是正确的公差水平常常很麻烦，有时甚至是可能的。图2a显示了使用Adobe Photoshop7[Adobe Systems incorp.2002]的魔杖的结果。由于前、背景像素在色彩空间的分布有相当大的重叠，无法实现满意的分割。

智能剪刀（又名带电金属丝或磁性套索）【Mortensen和Barrett 1995】允许用户通过鼠标大致追踪物体的边界来选择“最小成本轮廓”。当鼠标移动时，显示从当前位置返回最后一个“种子”点的最小成本路径。如果计算出的路径与所需路径不同，则需要额外的用户指定的“种子”点。在图2b中，使用了photo shop 7的磁性套索。这个工具的主要局限性很明显：对于高纹理（或未纹理）区域，存在许多可选的“最小”路径。因此，许多用户交互（此处为19）对于获得令人满意的结果是必要的。蛇或活动轮廓是套索精炼的方法[Kass等人1987]。

Bayes Matting 以概率方式对颜色分布进行建模，以实现全阿尔法蒙版[Chung等人2001年]，基于[Ruzon和Tomasi 2000]。用户指定一个“trimap”，其中标记背景和前景区域和，并在剩余的区域上计算阿尔法值。通常可以获得高质量的磨砂（图），但前提是区域不太大，背景/前景颜色分布具有足够的独立性。构造内部和外部路径需要相当程度的用户交互。

knockout 2 [corel corporation 2002]是Photoshop的一个专有插件，由用户设计的trimap（如Bayes Matting）驱动，其结果有时类似（图），有时质量较低，根据[Chung等人2001]。

图形切割 [Boykov和Jolly 2001；Greig等人1989]是一种功能强大的优化技术，可用于类似于贝叶斯抠图的设置中，包括Trimaps和概率颜色模型，以便在前地面和背景颜色分布不完全分离的情况下，即使在迷彩时代也能实现强大的分割。第2节详细介绍了该系统。图形切割技术也可用于图像合成，如[Kwatra等人2003]其中一个切口对应于两个图像（如源图像和目标图像）之间的最佳平滑接缝。

水平集 [Caselles等人1995 ]是图像和纹理分割的标准方法。它是一种求解相应偏微分方程的前向传播方法，常用作能量最小化工具。它的优点是几乎可以使用任何能源。但是，它只计算可能依赖于初始化的本地最小值。因此，在能量函数可以通过图形切割精确最小化的情况下，后一种方法更可取。[Boykov和Kolmogorov 2003]在计算黎曼空间中的测地学和最小曲面时发现了一个这样的例子。

1.2拟建系统：地堑

理想情况下，matting工具应该能够在的整个推理区域TU上生成连续的阿尔法值，而不存在阿尔法值可能仅为或的任何硬约束。这样，涉及烟雾、头发、树木等的问题就可以自动地得到适当的处理。然而，根据我们的经验，设计用于解决一般铺垫问题的技术[Ru Zon和Tomasi 2000；Chung等人2001年]在前景和背景色分布完全分离的情况下有效，但在迷彩时代往往会失败。事实上，它甚至可能是一般的铺垫问题是无法解决的迷彩时代，在这个意义上，人类将很难察觉到全面的床垫。这使我们对一个稍微不那么雄心勃勃但更可实现的问题形式的研究更加活跃。

首先，我们使用迭代图切割获得“硬”分割（第和第节）。接下来是边界填充（第节），其中阿尔法值在硬分割边界周围的窄条带中计算。最后，完全透明，而不是在边界，不是由地堑处理。但是，可以使用[创（Chung）等人2001年]根据我们的经验，这在没有迷彩时代的地区很有效。

我们方法的新颖性首先在于对分割的处理。我们对图形切割机制做了两个改进：“迭代估计”和“不完全标记”，这使得给定结果质量的用户交互程度大大降低（图·）。这使得GrabCut可以对用户施加轻负载，用户的交互只需在所需对象周围拖动一个矩形即可。这样做的时候，用户正在标识一个背景区域，并且不需要标记前景区域。其次，我们开发了一种新的阿尔法计算机制，用于边界铺垫，其中阿尔法值被规则化以减少可见文物。

2图形分割

首先，详细介绍了博伊科夫和乔利的分割方法，这两种方法是建立地堑的基础。

2.1图像分割

他们的论文[Boykov和Jolly2001]讨论了单色图像的分割，给出了一个初始。图像是灰值的数组，由（单个）索引索引。图像分割表示为每个像素的“不透明度”值的数组,图像前景和背景灰度分布，由灰度值的柱状图组成：

（1）

一个用于背景，一个用于前景。柱状图直接由来自相应区域，的标记像素组装而成。（在灰度范围内，直方图归一化为积分。）分割任务是推断未知的不透明度变量来自给定的图像数据和模型。

2.2按能量最小化划分

对能量函数e进行了定义，使其最小值应符合良好的分割，即它由观察到的前景和背景灰度直方图引导，且不透明度是“一致的”，从而重新判断对象的坚固性趋势。这是由形式的吉布斯能量捕获的：

（2）

根据柱状图模型，数据项u评估不透明度分布的alpha;到数据z，并被定义为：

（3）

平滑度项可以写为:

（4）

式中表示采用值；作为谓词，是相邻像素对的集合，其中是相邻像素的欧几里得距离。这种能量鼓励类似灰色区域的一致性。在实际应用中，如果像素水平/垂直或对角线相邻（路连通性），则将像素去除为相邻像素可以获得良好的效果。当常数时，平滑度项只是众所周知的优先项，在一定程度上鼓励所有地方的平滑度由常数gamma;决定。然而，已经证明[Boykov和Jolly 2001]设置更有效，因为这样可以缓和高对比度区域平滑度的趋势。常数beta;被选为[Boykov和Jolly 2001]。

（5）

其中[.]表示图像样本的期望值。选择beta;可确保（4）中的指数项在高对比度和低对比度之间适当切换。通过在15幅图像的训练集上针对地面真值优化性能，得到常数为50。事实证明，它是一种适用于各种图像的多功能设置（见[Blake等人2004）。

既然能量模型已经完全消除，那么可以将分割估计为全局最小值：

（6）

使用标准最小切割算法进行最小化[Boykov和Jolly 2001；Kolmogorov和Zabih 2002]。这一算法为硬分割奠定了基础，下一节概述了三个发展，这导致了中新的硬分割算法。首先，将单色图像模型替换为高斯混合模型代替直方图。其次，一次最小割集估计算法被一个更强大的迭代过程取代，该迭代过程在估计和参数学习之间交替进行。第三，通过允许不完整的标签，用户对交互用户的需求得到了放松——用户只为指定，这可以通过在对象周围放置一个矩形或套索来实现。

魔术棒 智能剪刀 Bayes Matte 击倒2 图切割 抓取

（a） （b） （c） （d） （e） （f）

图2：一些铺垫和分割工具的比较。最上面一行显示了完成分段或铺垫过程所需的用户交互：白色画笔/套索（前景）、红色画笔/套索（背景）、黄色十字（边界）。最后一行说明了结果分段。在用户输入的简单性和结果的质量方面，似乎优于其他方法。最上面一行的原始图像以较低的强度显示，以便于叠加；参见G.1。原创。请注意，我们的图形切割实现[Boykov和Jolly 2001]使用颜色混合模型，而不是灰色值直方图。

3抓取分割算法

本节描述了抓取硬分割算法的新部分：迭代估计和不完全标记。

3.1颜色数据建模

图像现在由像素在颜色空间中组成。由于无法建立足够的颜色空间柱状图，我们遵循一个已经用于软分割的实践-Zon和Tomasi 2000；Chung等人并使用。各GMM，一个用于背景，一个用于前景。是一个完全协方差高斯混合与分量为了更好地处理在-优化框架，附加向量是引入，为每个像素指定一个唯一的组件，一个来自背景或前景模型，根据或。

用于分割的吉布斯能量（2）现在变成

（7）

也取决于GMM组件变量k。数据项考虑到颜色GMM模型，U现在被定义为

（8）

式中，以及是高斯概率分布，是混合分布。加权系数，使（达到一个常数）：

（9）

因此，模型的参数现在是

（10） 即，2k高斯的权重、平均值和协方差背景和前景分布的组件。这个平滑度项v与单色基本不变案例（4），除了对照项是用欧几里得法计算的颜色空间距离：

（11）

3.2迭代能量最小化分割

中的新能量最小化方案迭代工作，取代了以前的一步算法[博伊科夫和乔利2001]。这具有允许自动优化的优点不透明度alpha;，作为来自区域的新标记像素初始修剪用于优化颜色参数。抓取系统的主要元件如图3所示。步骤1很简单，只需简单地枚举即可完成。每个像素的值。步骤2实现为一组高斯参数估算程序如下。对于给定的组件，比如前景模型，像素的子集定义和。平均和

协方差以标准方式估计，作为中像素值的样本均值和协方差，权重为

，其中表示集合的大小。最后，步骤3是一个全局优化，使用最小割集如[Boykov和Jolly 2001]算法的结构保证了适当的收敛性性质。这是因为迭代的步骤1到3-模拟可以证明是总能量的最小化。关于三组变量，依次。因此单调地减少，这在的实践中得到了说明。

因此，该算法保证至少收敛到局部的最小值。当停止时很容易检测到显著减少，自动终止迭代。

迭代最小化的实际好处.图和与单镜头图切割法（Boykov和Jolly 2001）相比，抓取切割中迭代最小化的额外功能如何显著减少完成分割任务所需的用户交互量。这在两个方面是显而易见的。首先，在初始化和选择错误之后，所需的用户编辑程度降低。第二，初始交互可以更简单，例如允许用户不完整的标签，如下所述。

图3：抓取中的迭代图像分割

图4：迭代极小化的收敛性。示例的能量e在12次迭代中收敛。在初始化和会聚（C）后，在RGB颜色空间中的（侧视图显示R，G）。混合成分用于背景（红色）和前景（蓝色）。最初（b）两个重叠很大，但在收敛后分离得更好，作为前景/背景标签已经变得准确了

3.3 用户交互和不完整的三图不完整的三图

迭代最小化算法可

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[19121]，资料为PDF文档或Word文档，PDF文档可免费转换为Word