英语原文共 8 页，剩余内容已隐藏，支付完成后下载完整资料

U-Net: 用于生物医学图像分割的卷积神经网络

Olaf Ronneberger, Philipp Fischer，和Thomas Brox

Computer Science Department and BIOSS Centre for Biological Signalling Studies,

University of Freiburg, Germany

ronneber@informatik.uni-freiburg.de ,

WWW home page: http://lmb.informatik.uni-freiburg.de/

摘要：成功训练一个较深层次的神经网络，需要大量的带有标记的训练样本。在本文中，我们展示了一个神经网络,它的训练策略依赖于充分利用数据增强来更有效的使用带注释的样本。该网络体系结构一个捕获上下文信息的收缩路径和一个支持精确定位的扩展路径组成。我们已经验证过这个网络可以从非常少的图像中就能得到端到端的训练，它在电子显微镜下的神经元结构分割表现比ISBI细胞追踪挑战上最好的方法(滑动窗口的卷积网络)要更好。通过对传输光显微镜图像(相位对比度和DIC)的训练，我们以很大的优势获得了2015年ISBI细胞追踪挑战。此外，这个神经网络速度很快，一个512x512图像的分割在GPU上花费不到一秒。它完整的实现(基于Caffe)和训练网络请访问http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net。

1.引言

在过去的两年中，深度卷积网络在许多视觉识别任务中表现超过了当前的最高水平，例如[7,3]。尽管卷积网络已经存在了很长时间[8]，但是它的性能都局限于可用训练集和网络的大小。Krizhevsky等人[7]的突破是监督训练的大型网络有8个层，ImageNet数据集有上百万个参数和100万张训练图像。从那以后，我们可以训练规模更大，层数更多的网络 [12]。

卷积网络的典型应用是图像的分类，训练结果输出到图像的是单个类标签。然而，在许多视觉任务中特别是在生物医学图像处理中，我们期望的输出图像应该包括定位。换句话说，一个类标签应该被分配给每个像素。而且，在医学图像分割任务中是不可能得到上千张训练图像的。因此Ciresan等人[1]在滑动窗口的设置中训练了一个网络，通过在该像素周围提供一个局部区域(patch)来预测每个像素的类标签进行输入。

这个网络有两个优点。首先，这个网络可以实现定位。其次，训练数据的补丁比训练图像的数量要大得多。因此该网络以巨大优势赢得了ISBI 2012的EM分割挑战。

很显然，Ciresan等人[1]的策略有两个缺点。首先，它运行速度非常慢，因为每个补丁都运行网络来判断其类别，而且由于补丁之间的重叠，网络会有多次重复计算，从而造成大量的冗余。其次，网络需要在定位精度和获取环境像素之间取舍。因为大的补丁需要更多的最大池化层，但这会降低定位精度的准确性。而小补丁则只允许网络看到很少的环境像素信息。但在最近，有一些方法[11,4]提出了一个分类器输出，这种综合了来自多个层的特征的输出证明了在利用环境像素同时输出结果也可以有良好的定位精度。

在本文中，我们构建的网络基于一个更加优雅的体系结构，即所谓的全卷积神经网络[9]。我们修改并扩展了这种架构，使其能够使用很少的训练图像，并产生更精确的分割;参见下图1。[9]的主要思想是用全连接层来补充普通的收缩网络，在这些层中，池化操作被向上采样操作所取代。因此，这些层增加了输出的分辨率。为了实现定位，将收缩路径上的高分辨率特征与上采样结合起来被连接到了修改后网络的上采样的结果上进行输出。一个连续的卷积层基于这个信息可以综合得到一个更精确的输出

图1：

如图1所示：这是我们想展示的神经网络U-net的层次结构(最低分辨率为像素)。其中每个蓝盒子对应一个多通道特征图，通道数记在盒的顶部，尺寸在盒子的左下角，白盒代表复制功能，箭头代表不同的操作。

我们的架构中的一个重要的修改部分是上采样部分，架构依然有大量的特性通道，这使得网络可以将上下文信息传播到更高的分辨率层。这使得扩张路径基本对称于收缩路径，并产生u形结构。网络没有任何全连接层，只使用每个卷积的有效部分，也就是说分割图只包含像素，在输入图像中可以提供完整的环境像素。这一策略允许通过重叠的策略对任意大的图像进行无缝分割(如图2)。在预测图像边缘区域的像素时，通过镜像输入图像来推断缺失的环境像素。这一策略在将网络用于大型图像的分割时尤为重要的，它规避了GPU内存对分辨率的限制。

图2：

如图2所示：对任意大图像进行无缝分割的覆盖层策略(这里展现的是EM栈中的神经元结构分割)。预测黄色区域的分割，需要在蓝色区域内的图像数据作为输入。缺少输入数据是通过镜像来推断。

在我们的分割任务中，能用的训练数据比较少，因此我们通过将弹性变形应用到可用的训练图像中来进行快速的数据增强。这使得网络不需要在带标记的图像语料库中看到这些转换就能够学习到这种变形的不变性。这在生物医学图像的分割中尤为重要，因为变形是组织中最常见的变异，而现实的变形可以被高效地模拟。Dosovitskiy等人[2] 指出了在无监督特征学习中，增加数据以获取不变性的重要性。在细胞分割任务的另一个挑战是对同一类的触摸对象的分离;参见图3。为此，我们提出使用加权损失，在损失函数中，分割相互接触的细胞获得较大的权重。

图3：

如图3所示：用DIC(微分干涉对比)显微镜记录下的HeLa细胞。(a)原始图像。(b)以真实数据分割覆盖。不同的颜色表示HeLa细胞的不同实例。(c)生成的分割掩码(白色:前景，黑色:背景)。(d)使用像素级别的损失权重来强制网络学习边界像素。

由此所得到的网络适用于各种生物医学分割问题。在这篇论文中，我们展示了EM中神经元结构的分割(一项ISBI从2012开始的竞赛)，我们在竞赛中完成了Ciresan等人[1]的网络。此外，我们还展示了2015年ISBI细胞跟踪挑战的光学显微镜图像的细胞分割结果。，我们以很大的优势在这两个最具挑战性的2D透射光数据集上获胜。

2.网络结构

网络体系结构如图1所示。它由一条收缩路径(左)和一条扩张路径(右)组成。收缩路径遵循一个卷积网络的典型结构。它的架构是一种重复结构，每次重复中都有2个卷积层和一个池化层，卷积层中卷积核大小均为，激活函数使用ReLU函数，两个卷积层之后是一个的步长为2的最大池化层。每一次下采样后我们都将特征通道的数量加倍。扩展路径中的每一步都包含了特征映射的一个向上采样，然后是一个 卷积(反卷积)，它将特征通道的数量减半，由收缩路径的相应的修剪特征映射，以及两个的卷积，每一个都跟着一个ReLU函数。因为在每次卷积中，边界像素都有丢失，所以必须要修剪。在最后一层，使用卷积将每个64分量的特征向量映射到所需的类数。在整个网络中有23个卷积层。

为了允许输出分割映射的无缝拼接(请参见图2)，选择输入tile大小是很重要的，这样就可以将所有的最大池化操作应用到具有相等的x和y大小的层上。

3.训练

将输入图像及其相应的分割映射用Caffe[6]的随机梯度下降法来对网络进行训练。由于未铺垫的卷积，输出图像比输入的边界宽度要小。为了最大限度地减少开销，并最大限度地利用GPU内存，我们更倾向于在大的批处理大小上使用大的输入块，从而将批处理减少到单个图像。因此，我们使用了一个较高的动量(0.99)，这样大量的先前所见的训练样本决定了当前优化步骤的更新。

能量函数是由一个像素级别的soft-max函数在最后的特征映射组合交叉熵损失函数计算。soft-max被定义为,其中表示在特征通道k,在像素位置x处激活，且。K是类的个数，是近似的最大值函数。也就是说当时，对于k,有最大激活，其他所有k,。然后交叉熵对每个位置惩罚。

与1的偏差，函数使用。其中:是每个像素的真实标签，是我们在训练中引入的为了赋予一些像素更重要的意义的权重映射。

我们预先计算每个真实数据细分的权重映射，以补偿训练数据集中某个类的不同像素频率，并迫使网络学习我们在触摸单元间引入的小分离边界(见图3c和d)。

分离边界是用形态学运算来计算的。然后计算权重映射，如下：

其中：是用于平衡类别频率的权重图，代表到最近细胞的边界的距离，代表到第二近的细胞的边界的距离。基于经验我们设定，sigma;asymp;5像素。

在具有许多卷积层和不同路径的深层网络中，对权重的良好初始化是非常重要的。不然，网络的某些部分可能会过度的激活，而其他部分则没有起作用。理想情况下，初始的权值是调整好的，这样网络中的每个特征映射都有近似的单位方差。而我们的网络体系结构(卷积层和ReLU层交替分布)，可以通过将初始的权值从高斯分布中提取出来，标准偏差为，其中N表示一个神经元的传入节点数[5]。例如，在前一层时，有的卷积和64个特征通道。

3.1数据增加

在只有少量样本的情况下，要想尽可能的让网络获得不变性和鲁棒性，数据增强是必不可少的。因为本论文需要处理显微镜图片，我们需要平移与旋转不变性，并且对形变和灰度变化鲁棒。特别是训练样本的随机弹性变形，是训练少数带注释图像的分割网络的关键。我们利用随机位移向量在粗糙的网格上生成光滑的变形。位移是用10个像素标准差的高斯分布采样的。然后使用双三次插值计算每个像素的位移。在收缩路径末端的退出层执行进一步的隐式数据增强。

4.实验

我们演示了U-net在三个不同的分割任务中的应用。第一项任务是在电子显微镜记录中分割神经元结构。图2中显示了一个数据集和我们得到的分割的示例。我们提供完整的结果作为补充材料。该数据集是由EM细胞分割挑战[14]提供的，这是在ISBI 2012年开始的，目前仍在接受新的改良方法。该训练数据是一组30个来自于透射电子显微镜对果蝇幼虫第一个的腹侧神经束(VNC)的连续切片得到图像(像素)。每幅图像都有一个完整对应的正确标记的对细胞(白色)和膜(黑色)的分割图。测试集是公开的，但是它的分割映射是保密的。将预测的膜概率图发送给主办单位之后会得到一个评估。评估是通过在10个不同的级别上对map进行阈值化，并计算“翘曲误差”、“Rand误差”和“像素误差”[14]。

U-net(平均超过7个旋转的输入数据)在没有任何进一步的前处理或后处理的情况下翘曲误差只有0.0003529(最新的最佳的分数见表1)，随机误差为0.0382。

这明显优于Ciresan等[1]的滑动窗口卷积网络结果，因为其最好的结果翘曲误差为0.000420，Rand误差为0.0504。就Rand误差而言，我们的网络表现的更好。

表1.在EM分割挑战排名[14](2015年3月6日)，通过翘曲误差进行排序。

图4：

如图4所示：结果对ISBI细胞追踪的挑战。(a)“PhC-

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[23748]，资料为PDF文档或Word文档，PDF文档可免费转换为Word