英语原文共 17 页，剩余内容已隐藏，支付完成后下载完整资料

一种基于RBF核函数的支持向量机特征选择方法在高光谱图像分类中的应用

摘要：高光谱成像通过许多连续的光谱带来充分地描述材料。这是一种非常有用的技术，可以应用在很多领域，包括天文学，医学，食品安全，取证和目标检测。但是高光谱图像包括冗余测量和大多数分类研究遇到的休斯现象。找到一个小的有效的子集来模拟以数据为代表的分类的类的特征是一个关键的预处理步骤，这就要求我们渲染一个分类器在高光谱图像分类中起到作用。在我们以前的动作中，一个基于支持向量机（SVM）用于选择径向基函数（RBF）参数的自动的方法已经提出。一个包含类间分类和类内分类信息的标准被提出用来度量特征空间可分性的方法，这个方法是关于径向基核的。此后，最佳RBF内核参数通过优化准则得到。这项研究提出了一种基于核的特征选择方法，它的标准是以前的工作和功能的线性组合的整合。在这种新方法中，两个属性可以根据被计算系数的大小来得到：小的特征子集和特征的排序。一个模拟数据集和两个高光谱图像的实验结果（印度松数植物数据集和帕维亚大学数据集）都表明，该方法提高了支持向量机的分类性能。

关键字：特征选择，高光谱图像分类，基于核的特征选择，径向基函数，支持向量机。

1. 介绍

高光谱成像有两个属性优于多光谱器件[1]，[2]。首先是，太阳反射波长连续覆盖了400至2400纳米，这为每种有众多连续光谱带的材料提供了完整的写照[3]，[4]。第二个是一个高光谱分辨率（例如，在10纳米处），可以表示窄吸收特性。高光谱成像对于各种各样的领域而言都是一个有用的技术，例如天文学，医学，食品安全，取证和目标检测[2]，[3]。然而，在一组高光谱图像中有数以百计的高光谱波段，这其中就包含有一些冗余、嘈杂的光谱带。由于大多数材料的光谱反射率在一定的光谱区域逐渐变化，相邻或者邻近的光谱带之间高度相关，所以我们提出了冗余测量[4]，[5]。此外，大多数的高光谱图像分类算法都会遇到休斯现象[6]-[10]。当训练集的大小固定，随着空间维数的增加，分类精度就会达到给定大小的最大值然后再减小，甚至尺寸会不断地增大。支持向量机（SVM）[13]，[14]是一个模式分类技术，是由Vapnik等人提出的。不同于传统的方法——最小化经验训练误差，SVM试图最小化泛化误差的上限，而这个目标是通过最大化分离超平面与训练数据之间的余量实现的。因此，SVM是一个无分布算法，可以克服统计估计不佳这一缺点。而且与其它标准监督分类器相比，SVM也实现了更好的经验精度和更佳的泛化能力[15]，[16]。特别是，SVM在利用小训练样本进行高维数据分类上已经表现出良好的性能[17]，[18]，对于休斯现象而言，这是很稳健的[6]，[7]，[15]，[17]，[18]。然而，SVM的运作就像一个黑盒子模型，它并没有直接从模型的解决方案在非线性的情况下获得特征的重要性。当某些特征不知情或与其他特征高度相关时，学习算法性能可能会恶化。此外，基于特征重要性的排名可以为终端用户提供有价值的信息，如问题的物理属性[43]。这些信息还有助于用户专注于数据采集或特定传感器进行特征处理[43]，[44]。当我们使用基于SVM的多分类器系统（MCSs）时需要应用特征选择[51]，[52]。在MCS中，特征子集生成[52]或特征权重的分布（重要性）[51]应该为每个SVM先生成。因此，我们首先需要通过执行特征选择来减少大量的特征[20]。

由于这些原因，特征的选择和提取成为在高光谱图像分类中渲染有效分类器的一个关键的预处理步骤。特征选择方法被定义为从一组原始特征中选择子集的过程。特征选择最重要的问题是找到一种有效的搜索策略和准则，以获得适合的分类特征子集。特征提取使用所有特征来构建将原始数据映射到低维子空间的变换[12]。虽然提取的特征可能会失去原有的物理意义，但它们是原始完整光谱带集的压缩版本。非参数加权特征提取（NWFE）[47]是用于高光谱图像数据的广泛使用的监督维数降低方法[47]，[48]。形态信息的提取也已经被讨论[49]，[50]。

递归特征消除（RFE）和F分数（FS）是SVM的两个众所周知的，基本的和简单的特征选择方法[19]，[45]。在RFE中，SVM决策函数的变化被用作特征选择的标准[45]。在[46]和[53]中，RFE用于选择具有高光谱数据的语境特征的子集进行分类。另外，[53]的结果表明，在遥感分类中使用基于SVM的特征选择方法是有用的。F分数通过计算类间信息与类内信息的比例来测量每个特征的判别力，以找到“好”特征[19]，[32]。特征选择规则根据判别功率的降序（即特征F得分值）来设定。然而，F分数只适用于两类问题[19]，[32]，因为它不会在特征之间揭示相互信息[19]。此外，F分数标准是基于原始空间中不在特征空间中的样本。

许多用于特征选择的技术已经被开发用来识别最有信息的子空间[57]。在2002年，一种基于特征相似性（FSFS）的无监督特征选择被提出[58]，[59]。而最近又提出了一种基于增强的嵌入式特征选择方法，该方法可以找到最优权重并消除与小权重相关联的频带。Chen[55]提出了一种利用堆叠泛化（叠加）的泛化能力和幅度和形状特征的补充识别信息的特征选择方法，以提高使用SVM的高光谱数据的分类精度。一种专门用于不同有意义特征集的内核的线性组合的自动优化的技术被提出，以对不同传感器获取的带，语境或纹理特征或带进行分组[56]。一种通过最小化与经验HSIC测试（BAHSIC）相关的值，遥感监督特征选择方法，希尔伯特施密特独立标准（HSIC）[36]和其扩展版本[37]的随机变量之间的非线性独立性度量的方法被提出。然而，相邻特征可能需要一起选择。

在先前的研究中提出了一种用于选择SVM的归一化核的参数（例如，径向基函数，RBF）的自动方法[21]，[22]。此外，该方法已被用于确定光谱成员的“重要性分布”[23]，[24]。基于内核，并结合特征的线性组合的标准已经提出，用以选择适合的SVM子集。与线性回归类似，第i个系数表示由第i个变量和因变量之间的线性关系解释的因变量平均值的总方差的分数[42]。因此，根据个体变量的线性拟合优度强制排序[38]，[39]，利用系数的大小作为可变排序标准。本研究中的相应系数是根据特征空间中最大的可分性来确定的，并且，将特征重要性设置为这些系数的大小。

本文的其余部分安排如下。第二部分介绍了选择用于支持向量机的RBF内核函数参数的自动方法。第三部分讨论了基于内核的特征选择方法。第四节描述了我们实验中使用的数据集，第五和第六节分别说明了一个模拟数据集和两个实际高光谱图像（印度松树站数据集和帕维亚大学数据集）的实验设计和性能。结论如下。

1. 前期工作

一种用于选择RBF内核（由APR表示）的参数的自动方法已经被提粗，用于加速软边距SVM的训练时间[21]，[22]。它可以成功地选择适用于SVM的内核函数参数。该方法比k层交叉验证所花费的时间少得多。以下草图描述了该方法的概念：

假设是类的训练样本集合，其中是类中训练样本的数量，，是类的数量。RBF内核定义为

（1）

其中，和是相应的参数。RBF内核函数有两个重要的属性：

1. （即，特征空间中每个样本的范数为1）；
2. （即，特征空间中的两个训练样本和的余弦值大于0且小于或等于1，并且它确定这两个样本之间的相似度）。

基于这两个观察和概念，需要两个属性并描述如下：

1. 同一类中的样本应映射到特征空间中的相同区域；
2. 不同类别的样本应映射到不同的区域。

然后我们要找到一个适当的参数，要满足

（2）

（3）

在此我们提出了两个标准用来测量特征空间的分离性[21]，[22]。首先，通过标准的核函数计算同一类中样本值的平均值，平均值为

（4）

我们要确定参数使得的值接近，也就是说要让接近于1，但是又小于1。其次，通过RBF核函数计算不同类中样本值的平均值，平均值为

（5）

从而，我们要确定参数使得的值接近，也就是说，的值要接近于0，当时有要比0大。因此，我们可以通过解决以下的优化问题来获得最优的：

基于软间隔支持向量机（SVM）提出的方法的一边步骤如下：

第一步：找到最佳参数，使得以下等式被最优化（即找到最小值）

第二步：使用k层交叉验证（CV），通过使用RBF核函数和参数来找到软间隔SVM。适当的惩罚参数。

1. 提出的基于内核的SVM特征选择方法

一个基于内核的特征选择方法（KFS）已经被提出，这个方法基于内核参数自动选择，来提高SVM分类性能。令表示相应样本每个特征的z分数值。根据z分数值，我们就可以通过比较变量的系数直接评估其相对重要性[39]-[42]。

考虑到特征的组合（即，其中是加权矢量）。和分别被定义为

（6）

（7）

这类似于线性回归，第i个系数表示平均因变量值周围的总方差的分数，而平均因变量值由第i个变量和因变量之间的线性关系来解释[38]，[39]。在这里，由关于第i个特征的分类性的非线性关系来解释。

类似于我们在第二部分描述的现有的工作，应该确定参数和，从而使得接近并且同时使得接近。最优和可以通过求解以下优化问题得到：

（8）

这个优化问题又可以通过以下更新的两条规则解决：

（9）

（10）

方程（9）和（10）是无约束非线性优化问题，因此可以采用一些流行的优化算法[29]-[31]来解决这个问题。在这项研究中，大规模算法[31]，[56]用于求解方程。

在训练过程中稳定后，最佳的的幅度会被用来确定特征的重要性。这就是说我们是根据富达大小的降序来选择特征

。

算法1总结了使用已经提出的特征选择方法（KFS）的SVM训练程序。首先，用KFS确定特征的重要性，然后，使用自动参数选择方法（APR）来查找训练样本的参数，这个训练样本的特征数量是减少了的。最后，用k层交叉验证（CV）来找到软间隔SVM的适当参数。

算法1：使用KFS的SVM训练程序和在Matlab中实现的相应的伪代码[56]。

1. 给定训练集和减少的特征的数量；
2. 计算；
3. 令是随机选择的起始向量，是中每两个成对距离的平均值；
4. 设置选项，LargeScale=rsquo;onrsquo;;重复；
5. 求解并计算目标函数的对应值，其中

；

6）求解并计算目标函数的对应值，其中

；

1. 设置，，直到和稳定为止；
2. 根据幅度的降序选择前p个特征

并且从原始的训练集中计算减少了的训练集；

9）根据减少的训练集，使用APR找到最佳的参数；

10）应用CV根据和找到软间隔支持向量机（SVM）的参数。

1. 数据采集

在两类分类和多类分类问题的实验中，我们都会使用到一个模拟数据集和两个高光谱图像数据集。

A.模拟数据集

为了探索非线性问题的坚固性（鲁棒性），我们采用简单的炸圈饼图，这是一个包含两个真实特征和十个均匀随机噪声特征的两类模拟数据集，如图1所示。其中每一类有50个样本。

B.高光谱图像数据集

本研究使用两个实际数据集来评估所提方法的分类性能。其中一个是印度松树植物（IPS），这是印第安纳州的混合森林/农田[33]。这个IPS数据集由一种被称为机载可见/红外成像光谱仪（AVIRIS）的传感器收集。该数据集是从美国航空航天局/喷气推进实验室运行的飞机获得的，这个飞机的飞行高度为65000英尺。图像测量为145times;145像素，具有220个光谱带和20-m空间分辨率。图2显示了IPS的IR图像和地面真实性。原始地面有16个土地覆盖类：苜蓿（1类），免耕玉米（2类），减耕玉米（3类），玉米（4类），牧场草（5类），草-树（6类），牧场割草（7类），干草（8类），燕麦（9类），免耕大豆（10类），减耕大豆（11类），大豆（12类），小麦（13类），森林（14类），建筑-草-树（15类）和石-钢-塔（16类）。表I列出了每个类中的像素数。另一个图像使用的是帕维亚大学（PAVIA）的，它是意大利北部帕维亚市四个航线上的一部分记录[40]，[41]。这是一个非常精细的分辨率超光谱数据，它相应的几何分辨率为1.3米。该航班是在由Deutsches Zen-trum fuer Luft- und Raumfahrt（德国航空航天中心）管理的HySens项目的框架内进行的，由欧洲联盟主办的跨国获取主要研究基础设施计划（合同编号：HPRI-CT -1999-00075）。该图像由数字机载成像光谱仪（DAIS）获得，其原始尺寸为610times;610像素，具有103个光谱带，但图像中的一些样本不包含信息，在分析前必须丢弃。因此，使用的尺寸减少到610times;340像素。原始地面实况图中有九个类别：沥青（1类），草地（2类），砾石（3类），树木（

全文共6149字，剩余内容已隐藏，支付完成后下载完整资料

资料编号：[144519]，资料为PDF文档或Word文档，PDF文档可免费转换为Word