英语原文共 9 页，剩余内容已隐藏，支付完成后下载完整资料

高分辨率组织病理学图像机器学习辅助肿瘤快速检测

摘要：色彩标准化是组织病理学计算机辅助诊断（CAD）系统处理模型中的主要任务之一。这项任务减少了染色全视野数字切片（WSI）中由于染色协议的非标准化而出现的颜色和强度变化。同时，提高了基于机器学习的CAD系统的精度。由于短时间内处理大量的千兆像素级WSI数据的任务，对高效的机器学习（ML）系统的提出了更高的需求。针对这一需求，提出了一种高性能的方法，使组织病理学中的WSIs大数据分析成为可能。为测试ML方法，使用卷积神经网络（CNN）对WSIs进行染色标准化预处理和前列腺癌检测。在整个模型中引入如下优化：（Ⅰ）并行化并优化了着色标准化过程；（Ⅱ）针对快速非易失性存储器（NVM）存储，对多线程I/O框架进行优化，（Ⅲ）在ML方法中集成了染色标准化优化和增强的I/O框架，以最小化数据传输开销和总体判别时间。对于低分辨率和高分辨率的WSIs，我们的组合优化分别使端到端的ML方法平均加速了7.2倍和21.2倍。特别的，将高分辨率组织病理学图像的判别时间从30分钟缩短到80秒以下使得ML辅助诊断可以与最先进的全滑动扫描仪无缝集成。

1. 引言

基于机器学习（ML）的组织病理学图像分析已经成为对病理学家提供高效决策的有价值的工具 ^[13,15]。随着全视野数字切片的出现和深度学习的发展，近年来人们开始研究如何构建高效的体系结构，以在医学图像分析的许多应用中提高诊断准确性^[9]。同时，鉴于高分辨率全视野数字切片（WSIs）的数据规模和计算要求，迫切需要建立高性能的模型来实现大规模、高分辨率的医学图像处理。特别是在考虑ML推断任务时，端到端的模型应该以最小的延迟交付高精度的结果；否则，用于诊断支持的计算系统可能因存在瓶颈而不具有研究价值。

WSIs的多分辨率格式以及其苏木精和伊红（Hamp;E）染色特有的典型预处理，使得基于ML的组织病理学图像分析的计算要求具有挑战性。由于高分辨率WSIs的千兆像素大小，端到端ML方法的预处理阶段可能成为推断过程中的一个重要负担，从而对洞察时间产生不利影响。组织病理学诊断中常用的WSI预处理方法是染色标准化（SN）。该预处理步骤减少了由于组织玻片在扫描前的曝光时间、染色和存储程序、Hamp;E浓度、扫描仪类型等方面的差异而导致的WSIs中存在的颜色变化。而这种变化会降低基于ML的图像分析系统的性能。

本文提出了一个高性能的染色标准化预处理模型，使组织病理学中的WSIs大数据分析可行。提出的模型采用了基于应变矢量估计的最新无监督方法^[11]。此外，传统工具（OpenSlide）^[1]中使用的标准图像加载/存储库（libtiff）对于高分辨率图像具有显著的性能开销。因此，我们还为libtiff库引入了一个新的I/O后端，它针对快速非易失性存储器（NVM）存储进行了优化。与默认库相比，我们的框架实现了高效的映像I/O，并提高了在快速NVM存储上的性能。在这个增强的I/O后端之上，我们提出了一个多线程图像加载/存储体系结构，进一步加速WSI读取过程。最后，我们将快速SN模型和优化后的I/O集成到一个完整的ML推断模型中，以最小化数据跨阶段传输的开销和总体判别时间。作为一个用于计算病理学的示例性ML模型，我们在WSIs中使用了基于Tensorflow的卷积神经网络（CNN）和染色规范化预处理来检测前列腺癌。与目前最先进的ML模型相比，我们的优化在低分辨率和高分辨率WSI上分别平均减少了7times;和21times;以上的推断时间。综合以上优化，它将高分辨率WSIs的判别时间从27.2分钟缩短到77秒，大大缩短了病理学家的观察时间。这种改进的端到端ML推断时间允许ML诊断模型与最先进的全滑动扫描仪（60s扫描时间^[2]）无缝衔接。

1. 研究背景
   1. 组织病理学WSI预处理：染色标准化

在这项工作中，我们重点针对一个著名的标准化算法进行研究^[11]，该算法基于每个像素（RGB通道）的颜色是两个染色向量苏木精和伊红（Hamp;E）的线性组合的原理。该算法采用基于奇异值分解的方法对非背景像素进行染色矢量估计。在基于ML的图像分析方法中，染色标准化是关键。Ciompi等人^[3] 结果表明，使用色斑标准化输入，ML系统的准确度可提高20%。

研究中的标准化方法的主要难点之一^[11]是它对大规模WSIs的可扩展性，例如40X分辨率。这种方法的典型实现与系统不适应：运行系统的多核处理器和内存不能有效地用于WSIs的快速加载和处理。此外，WSI的加载依赖于外部库来读取和写入标记图像文件格式文件（libtiff/OpenSlide）。这些库没有针对现代并行架构进行优化，因此它们会显著降低WSI处理运行时的速度。

• 1. 组织病理学WSIs的ML方法

Zerhouni等人[16]提出了乳腺组织病理学WSIs中有丝分裂检测的ML模型。该方法利用图像40X分辨率的染色标准化图块来训练宽残差网络。Cirecedil;san等人[4]提出了一种基于ML的乳腺组织病理图像有丝分裂检测方法。这项研究使用了Hamp;E染色的WSIs，将其分割成小图块，以适应11层CNN模型。无论是细胞核检测、分类还是分割医学任务，它们的许多对应的ML模型都有一个共同的基本架构：（1）将输入的WSI分割，（2）对每个块进行预处理（如染色标准化），并存储在磁盘上，（3）加载标准化的块并训练ML模型，利用训练后的模型进行判别。在WSIs上工作的ML推断模型通常操作数百个图像的大型数据集。对于高分辨率的WSIs，这可能会转化为兆字节级的数据量（例如，40倍分辨率的100个图像会产生2 TB的未压缩数据），这需要优化和可扩展的ML结构。训练和推断引擎通常通过使用GPU技术来加速。然而，WSI预处理（染色规范化）也需要具有可伸缩性和足够快的速度来处理大型WSI。此外，涉及图像加载/存储的ML系统的每个部分都应该进行高度优化，以消除所有I/O瓶颈。

1. ML模型结构优化

图1描述了端到端推断模型的总体系统架构。它从加载WSI开始，然后执行染色标准化（A到C），写出标准化图像，然后由推断模型提取，然后进行面片提取和推断评估。

图1 系统结构简图 图2 色标准化中断时间

• 1. 染色标准化。

我们使用公开可用的MATLAB代码^[14] 作为染色标准化算法的对照组（Macenko等人^[11] ）。图1中的模型块A、B和C对应于光密度矩阵（ODM（12））计算、染色浓度的计算和它们的鲁棒极大值，以及分别用变换返回到RGB空间的像素标准化。即使在移植到C 时，参考代码也会受到40X WSI的高内存消耗和长处理时间。我们把C 推断实现称为对照组。为了启用并加速此类WSI的处理，我们执行以下优化：

（a） 图像加载后，内存中只存储RGB像素值。由于染色规范化通常在光密度（OD）空间中操作，因此仅在动态地在模型块A、B和C中对非背景像素执行转换。为了加快计算速度，使用查找表方法进行从RGB到OD空间的转换取代log函数。

（b） 块A和块B是最耗时的步骤中，我们使用的部分排序比完全排序快2-3倍。

（c） 对于模型块C中的指数函数，我们使用快速指数库[5]，因为它比标准c库中的相应函数执行速度快5–10倍。

（d） 由于模型块A、B和C在单个像素上执行许多独立的操作，因此它们的执行使用OpenMP库在所有可用的CPU线程上并行化。

（e） 鉴于模型块A和B由于很难并行排序操作而最耗时，我们使用蒙特卡罗抽样技术执行另一个优化[6]。在该方法中，从所有非背景像素的集合中随机选择非背景像素的样本，以估计所需的鲁棒极值[11]。

• 1. NVM优化的I/O框架

在优化了染色规范化算法之后，WSI加载/存储成为瓶颈：90%的时间花在I/O操作上（图2显示了使用第4节所述设置的典型WSI的结果） ，其中40%用于加载和解压缩，50%用于压缩和存储。典型的WSIs I/O是使用OpenSlide（内部使用libtiff）加载和libtiff存储按顺序执行的。这种方法既不能有效地利用现代CPU的多核结构，也不能有效地利用高性能NVM存储设备固有的并行性。这是由于libtiff I/O后端的以下性能限制造成的：（I）它使用非线程安全的I/O系统调用（读、写），（Ⅱ）由于它保持内部非线程安全状态，因此它在解压缩（压缩）图像以进行读（写）方面不可扩展，（Ⅲ）它使用OS页缓存的缓冲I/O这会导致不受控制的内存消耗，而且当从多个内核同时访问页面缓存时，它的可伸缩性有限^[17]

为了加速医学图像的读取过程，需要并行加载和存储WSIs。为此，我们在为现代NVM设备和多核CPU优化的libtiff库中引入了一个新的I/O后端，并具有如下优点：（I）是线程安全和可扩展的，允许大的I/O并行性，（Ⅱ）绕过页面缓存直接访问存储（O_DIRECT）。我们通过扩展Libtiff（tiffio.hxx）的C I/O API来实现这一点，以提供一个新的接口，它使用一个快速NVM优化的密钥值存储^[8]-Apple数据存储，它使用哈希表索引加日志结构化数据分配^[7]。

此外，我们为扩展的Libtiff构建了一个高效的多线程I/O框架，它提供了用于WSI加载和存储的C ／Python API。多线程加载是通过每个线程使用一个TIFF文件句柄（TIFFOpen）启用的；每个线程独立加载和解压缩图像的单独部分。要启用多线程图像存储，我们禁用图像压缩，并使用允许并行写入的优化I/O后端。与默认的I/O后端相比，这种新的I/O框架在多核系统和快速NVM存储上提供了更高的效率，并用于着色规范化和推断机方法阶段。特别的，并行图像压缩和解压缩优化适用于任何多核系统，而不考虑底层存储硬件。

最终，我们的I/O框架支持最常见的扫描仪格式的图像：Aperio、Philips、Ventana和Hamamatsu。这些格式通常是具有专有元数据的单文件金字塔型TIFF或类似BigTIFF的格式。

ML推断方法。为了对不可见的WSI进行判别，我们使用VGG启发^[10]架构的训练模型进行推断，如图3所示。模型输入由加载在用户定义的图像分辨率中的WSI小块组成。模型输出是特定任务的判别标签。在本研究中，我们训练了两个肿瘤检测模型，一个是从10X分辨率提取的512times;512像素的图块（模型A），另一个是从40X分辨率提取的2048times;2048像素的图块（模型B）。为了推断10X补丁，我们首先从WSI加载10X图像。为了避免在背景块上进行推断，我们采用二值化阈值来获得组织区域的遮罩。从10X图像的组织区域中提取大小为512times;512的非重叠图块，并用模型A对每个图块进行判别，40X的推断方法与10X的区别为（1）图块大小为2048times;2048，（2）使用模型B进行判别，其他相同。

图3 CNN结构简图一层卷积层由16times;3滤波器，1times;1的，同样，随后是批量标准化层（黄色）和RELU非线性（绿色），用n16 bn RELU表示。训练的学习率为0.001，动量为0.9的优化器SGD和批大小为16。（在线彩色图）

图4 应用第三节中描述的优化染色标准化算法optSN后，原始图块（a-d）及其标准化版本（e-h）。

• 1. 算法整合

对照组ML模型（图1）包括使用C 公开实现的标准化代码，公开可用的MATLAB代码^[14]，OpenSSLIDC/CiBIFTF库分别加载/存储，以及使用VGG启发CNN和OpenSSLIDEPython库加载的推断引擎。我们将此对照组修改为：（Ⅰ）合并并行化和高性能染色标准化（optSN）；（Ⅱ）跨阶段方法使用NVM优化的I/O框架：加载WSI进行标准化，写出标准化图像，并将其输入到推断模型（optIO）。

1. 实验环境
   1. 配置

在测试中，我们使用一台服务器，包括两个10核Intel Rreg;XeonRreg;E5-2630v4 CPU，125 GiB RAM，运行4.4 Linux内核（Ubuntu16.04）。该机器有10个Intel Rreg;Flash NVMe固态驱动器（固态硬盘，P3600 400GB 2.5in PCIe）和一个带8GiB GDDR5内存的NVIDIARreg;GTX 1080 GPU。

我们使用20张Hamp;E染色的前列腺癌组织穿刺活检图像。这些图像是用Ventana扫描仪数字化的，采用BigTIFF格式。所有的WSIs都包含2.5X、10X和40X分辨率，并且是JPEG压缩的。在40倍分辨率下，图像的平均大小是21.7G。

为了训练我们的ML方法，数据集包括两个病理学家提供的注释（Gleason评分：非肿瘤、3 3、3 4、4 3、4 4和4 5）。由于样本在不同Gleason评分上的分布不平衡，我们将把本文的工作限制在描述肿瘤和非肿瘤区域的二元分类任务上。所有Gleason评分高于或等于3 3的区域将被视为肿瘤，其余区域则视为非肿瘤。

图5。对照组SN与优化SN：10X和40X分辨率的性能结果

• 1. 染

     剩余内容已隐藏，支付完成后下载完整资料

     ---

     资料编号：[235239]，资料为PDF文档或Word文档，PDF文档可免费转换为Word