英语原文共 13 页，剩余内容已隐藏，支付完成后下载完整资料

支持向量机的高光谱遥感图像分类

Farid Melgani，成员，IEEE，和Lorenzo Bruzzone，资深会员，IEEE

摘要：本文讨论了支持向量机(SVM)对高光谱遥感图像分类的问题。首先，我们提出了一种理论讨论和实验分析，旨在了解和评估多维特征空间中支持向量机分类器的能力。然后，我们评估了SVM对传统特征简化方法的有效性，以及它们在不同维度的高维空间中的表现。在此基础上，与其他两种非参数分类器的性能进行了比较。，径向基函数神经网络和最近邻分类器。最后，我们研究了在高光谱数据中应用二元SVM对多类问题的潜在关键问题。具体地分析和比较了四种不同的多类策略:一个是对所有的，一个是对一个的，两个是基于树的策略。不同的性能指标已经以一种详细而准确的方式被用于我们的实验研究，即:分类精度、计算时间、参数设置的稳定性以及多类结构的复杂性。根据在实验中获得的结果，可见光/红外成像光谱仪高光谱数据集可以得出这样的结论:无论采用多类策略，SVM都是一种有效且替代传统模式识别方法(特征简化程序与分类方法相结合)来分类高光谱遥感数据的方法。

关键词：分类，特征减少，休斯现象，高光谱图像，多类问题，遥感，支持向量机(SVM)

1. 我的介绍

由多光谱传感器获得的遥感图像，如广泛使用的陆地卫星专题制图仪(TM)传感器，已经在许多地球观测(EO)应用中显示了它们的好处。一般来说，多光谱传感器所具有的相对较少的采集通道可能足以区分不同的土地覆盖类(如林业、水、作物、城市地区等)。然而，当同一物种(例如，不同类型的森林)的不同类型被实验时，它们的辨别能力是非常有限的。高光谱传感器可以用来处理这个问题。这些传感器的特点是拥有高光谱分辨率，通常会导致实验拥有数百个观测通道。由于这些通道在光谱领域(包括物质量化和目标检测)中需要非常高的识别能力，从方法论的角度来看这是可能的。对高光谱数据的自动分析并非易事，具体地说，它是由许多因素造成的，例如:1)每个土地覆盖类的高光谱特征的大空间变异性;2)大气的影响;3)维度的诅咒。在监督分类的情况下，主要的困难与可用的训练样本数目和特征数之间的小比率有关。这使得不可能使用标准统计分类器中使用的类条件多维概率密度函数的合理估计。因此，在给定阈值(取决于训练样本的数量和采用的分类器的种类)上，将作为输入的数量增加到一个给定的阈值(这取决于所采用的训练样本的数量)，分类的准确性就会降低(这种行为被称为Hughes现象[1])。

为了克服这一方法论问题，在文献中进行了大量的工作。可以确定四种主要方法:1)样本协方差矩阵的正则化;2)利用分类化(半包)样本进行自适应统计估计;3)基于特征选择/提取的预处理技术，目的是将原始特征空间还原为低维度的另一个空间;4)对光谱特征进行分析，以对类进行建模。

第一种方法采用多变量法(高斯)概率密度模型，这是一种被广泛接受的光学遥感数据统计模型。对于每个信息类，这样的模型需要对第一个和第二个统计数据进行正确的估计。在现有训练样本数目和特征值之间存在着不利的比率，估计协方差矩阵的常用方法可能会导致不准确的估计(这可能使得在最大似然(ML)分类器中反转协方差矩阵是不可行)。并提出了几种替代方法和改进的协方差矩阵估计量，以减少有限训练样本估计数的方差[2], [3]。而改进协方差估计的主要问题是，估计的协方差矩阵与少数可用的训练样本过于相识，并导致对整个图像的数据统计不准确。

第二种克服休斯现象的方法是采用迭代的方法，以提高统计估计和提高分类的准确性。样本最初是用可用的训练样本进行分类的。然后，对分类样本和训练样本进行迭代开发，以更新类统计信息，并据此对分类结果进行收敛[4]，[5]。这两种类型的样本的整合过程在不完全数据[6], [7]的情况下，通过期望-最大化(EM)算法实现了对统计量估计问题的解决方案。这种方法的主要优点是它更适合真正的类分布，因为图像的较大部分(不需要额外的成本)有助于评估过程。第二种方法是两个相关的主要问题:1)要求从计算的角度,2)它为了避免评估过程的差异,要求初始训练样本的类模型估计应该匹配好足够的未标记样本,因此,提高模型参数估计的准确性。

为了克服维数的问题，第三种方法提出通过特征选择或提取技术来减少特征空间的维数。特征选择技术通过选择具有代表性的原始特征子集来减少光谱通道。可以有下面两种方法:1)选择标准和2)搜索策略。前者的目标是根据不同类别的统计距离度量(例如，Bhattacharyya距离，Jeffries-Matusita距离，以及转换的散度度量[8])来评估给定的特征子集的识别能力。后者在多维空间中起着至关重要的作用，因为它定义了根据所使用的选择标准确定最优特性子集所必需的优化方法。在文献中提出的搜索策略中，值得一提的是基本的正向选择序列 [10]，更有效的正向浮动选择序列 [11]，以及最速上升(SA)技术[12]。特征提取方法通过将原始特征空间转换为低维度的空间来解决特征压缩的问题，其中包含了大部分原始信息。在此背景下，决策边界特征提取(DBFE)方法[13]被证明是一种非常有效的方法，能够提供最小数量的转化特征，从而达到良好的分类精度。然而，这种特征提取技术具有很高的计算复杂性，这使得它常常不实用。这一问题可以通过与投影追踪(PP)算法的耦合来克服，[14]在DBFE中扮演了预处理程序的角色，通过对特征空间进行初步的有限还原(希望是)几乎可以忽略的信息丢失。Kumar[15]提出了另一种特征提取方法，它的类特性使其具有特别的吸引力。它是基于(高度相关的)相邻波段的子集，通过自顶向下和自底向上的算法组合成更少的特征。一般来说，即使特征减少技术能有效地限制信息的丢失，这种损失通常是不可避免的，并且可能会对分类的准确性产生负面影响。

最后，从分析化学的光谱分析方法中得到的处理高光谱数据的方法值得一提。这种方法背后的想法是，从高光谱图像中每个像素的响应，作为一维的光谱信号(签名)。每个信息类都被描述为其光谱的形状的一些描述符[16], [17]。这种方法的优点是它大大简化了高光谱数据分类问题的制定。然而，需要额外的工作来找到合适的形状描述符，而且能够准确地捕获与每个信息类相关的光谱形状变化。

其他方法也存在，不包括在上面讨论的四种主要方法中。特别值得一提的是，基于不同分类器组合的方法[18]和基于集群空间表示的方法[19]。

最近，特别关注支持向量机(SVM)对多光谱遥感图像的分类[20]-[22]。与其他广泛使用的模式识别技术相比，SVM经常被发现提供更高的分类精度，例如最大似然和多层感知器神经网络分类器。此外，在存在异构类的情况下，SVM似乎特别有利，因为只有很少的训练样本可用。在高光谱图像分类的背景下，一些初步的实验研究初步指出了SVM在多维特征空间中直接分析高光谱数据的有效性[23]-[26]。特别是，在[24]中，作者发现，SVM对基本的最小距离-均值分类器的结果和[3]中所报告的结果的分类精度有了显著的提高。为了显示其对训练样本数目的影响相对较低，SVM分类器的准确性是根据训练样本数量和测试样本的不同比例来估计的。正如在下一节中所解释的那样，这主要取决于SVM实现了一种分类策略，它利用了基于边际的“几何”标准，而不是纯粹的“统计”标准。换句话说，SVM不需要对类的统计分布进行估计来进行分类任务，但是他们通过利用边际最大化的概念来定义分类模型。这在许多其他模式识别应用中得到了证实，如生物医学成像[31]、图像压缩[32]和三维物体识别[33]。这样的兴趣有三个主要的原因:1)传统分类器的内在有效性，导致了较高的分类精度和很好的泛化能力;2)建筑设计的有限能力;3)根据线性约束二次规划(QP)方法求解学习问题的可能性(在科学文献中已深入研究)。然而，SVM的一个主要缺点是，从理论的角度来看，它们最初是用来解决二进制分类问题的。当处理从高光谱传感器获得的数据时，这个缺点变得更加明显，因为它们本质上是为了区分广泛的土地覆盖类，它们可能与光谱观点非常相似。在多类分类问题中，SVM的实现可以用两种方法来实现[23], [24], [34], [35]。第一个是定义一个由二进制分类器组成的体系结构。然后，将整体的单个成员的部分因素组合在一起。第二部分由SVM直接表示为一个多类优化问题。由于要同时识别的类数很多，在多类优化公式中，要估计的参数数量会大大增加。这使得方法的稳定性降低，从而影响了分类性能的准确性。由于这个原因，多类优化并不像基于两类优化的方法那样成功。

在本文中,我们提出一个理论讨论和一个精确的实验分析目的:1)在hyperdimensional评估SVM分类器的属性特征空间和2)在评估涉及多类问题的影响支持向量机分类器应用于高光谱数据时通过比较不同的多类策略。关于第一个目标的实验部分，通过两个不同的实验对SVM的有效性进行评估。首先,我们建议比较SVM的性能与其他两个用于原始hyperdimensional特征空间非参数分类器。径向基函数神经网络,这是另一个基于classi-fication方法(SVM),使用不同的基于“统计”分类策略,而不是“几何”标准;这广泛应用于模式识别分类方法作为参考。第二项实验是将SVM与用于高光谱数据的经典分类方法进行比较，即:这是一种传统的分类器，它结合了一种特性简化技术。这也可以评估在多维度空间中的SVM的性能。关于这一工作的第二个目标，分析并比较了四种不同的多类策略。特别地，我们考虑了广泛使用一对一的分类策略。此外，还研究了基于层次树方法的两种策略。实验研究是在1992年6月在印度松树地区(印第安纳)[36]上通过机载可见光/红外成像光谱仪(AVIRIS)传感器获得的高光谱图像进行的。采用不同的性能指标来支持我们的实验分析，即分类精度、计算时间、参数设置的稳定性以及多类体系结构的复杂性。实验结果证实了SVM分类器在高光谱数据分类下对传统分类方法的显著优势。

本文的其余部分由四个部分组成。第二节回顾了SVM的数学公式，并讨论了它们在高光谱特征空间中的潜在特性。第三节描述了用二进制SVM解决多类问题的不同策略，并通过实验来评估多维度环境下的多类问题的影响。第四节论述了工作的实验阶段。最后，第五节总结了本文的意见和结论。

1. 支持向量机分类方法

A、支持向量机的数学公式

1).线性SVM:线性可分情况:让我们考虑一个受监督的二进制分类问题。让我们假设训练集由N个向量组成，从d维特征空间。一个目标与每个向量相关。让我们假设这两个类是线性可分的。这意味着可以找到至少一个由向量(正常到超平面)定义的超平面(线性表面)和一个可以将两个类分开而没有错误的偏置。成员决策规则可以基于函数sgn[f(X)], f(X)是与超平面相关的判别函数，定义为：

（1）

为了找到这样的超平面，我们应该估计W和b。

（2）

支持向量机的方法是找到最优的超平面，最大限度地使最接近的训练样本和分离超平面之间的距离最大化。可以用简单的超平面参数W和b来表示这段距离等于。

（3）

这两个类之间的几何边界是由给出的。边缘概念是支持向量机方法的核心，因为它是对其泛化能力的度量。边缘越大，期望的泛化程度越高[27]

结果表明，最优超平面可以确定为下列凸二次规划问题的解:

（4）

这个线性约束优化问题可以用拉格朗日公式来翻译成以下两个问题:

（5）

图1所示。线性不可分情况下，SVM中最优分离超平面。白色和黑色圆圈分别表示“ 1”和“1”。支持向量由一个额外的圆表示。

用二次规划方法(QP)方法估计了拉格朗日乘数 (5)的表达式[27]。根据拉格朗日乘数和训练样本，与最优超平面相关的判别函数成为一个方程，即:

（6）

其中S是对应于非零拉格朗日乘数的训练样本的子集。值得注意的是，拉格朗日乘数有效地加权了每个训练样本，根据其在确定判别函数的重要性。与非零权重相关的训练样本称为支持向量。这些距离正好等于与最佳分离超平面的距离。

2).线性SVM:线性不可分情况:在前一节中描述的SVM公式仅当数据是线性可分的时才成立。在真实数据的分类中，这种乐观的条件很难满足。为了处理不可分离的数据，最优分离超平面的概念被推广为最小代价函数的解，它表示两个标准的组合:边际最大化(如线性可分数据)和误差最小化(对错误分类的样本进行惩罚)。新的函数定义为:

（7）

当是用来解释数据不可分离的所谓松弛变量时，常数C表示一个正则化参数，允许控制分配误差。C值越大，对错误分类样本的影响越高。在(7)中所表达的成本函数的最小化受以下约束:

（8）

（9）

值得注意的是，在不可分离的情况下，两种支持向量共存:1)位于超平面边缘的边缘支持向量和2)在此边界上的“错误”侧的非边界支持向量(图1)。

3).非线性SVM: Kernel方法:将上述方法归纳为非线性判别函数的范畴，是进一步提高两个信息类分离的一种自然方法。因此，我们可以考虑通过一个适当的非线性转换将数据映射到一个更高维度的特征空间，在这里，两个类之间的分离可以按照前面的小节中描述的方法来查找，即。，由法向量和偏置定义的最优超平面。为了识别后者，我们应该解决一个双重的问题，例如，通过将原始空间中的内部产品替换为转换后的空间中的内积，从而为线性可分离的情况下定义(5)。在这一点上，主要的

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[23751]，资料为PDF文档或Word文档，PDF文档可免费转换为Word