论文总字数：33939字

摘 要

上世纪90年代，支持向量机由Vapink等人提出的，它广泛应用于模式识别、自动化、信号处理、通讯等领域。在处理不对称样本集时，普通的支持向量机由于不同类别样本数量上的差异致使分类器性能的下降，但在现实生活中，更重要的信息通常由少数类的样本提供，所以怎样有效地改善在机器学习中不对称样本集的分类性能成为机器学习领域迫切需要解决的热门课题。

本文主要针对样本不对称情况下支持向量机的分类性能提升方案进行调研：

首先本文从线性可分、线性不可分和非线性三方面介绍支持向量机的基本理论，并且分析了样本不对称对分类带来的影响。

然后，在数据层面对不对称样本集的分类性能提升方法进行调研，其主要思想是对样本数量的调整，即增加少类样本的数量以及减少多类样本的数量使得两类样本数量相对均衡从而提高分类准确率。

最后，在算法层面对不对称样本集的分类性能提升方法进行调研，通过为不同类别的样本分配不同的惩罚因子来提高支持向量机的分类性能。

关键词：样本不对称, 支持向量机, 样本数量调整, 惩罚因子调整

A research about the improving programs of SVM classification based on sample imbalance

Abstract

In 1990’s, Support Vector Machines (SVM) was proposed by Vapnik et,al. It has been widely applied to a lot of areas, such as pattern recognition, automation, signal processing, communication, etc. In dealing with the unbalanced sets, the difference of the sample quantities of the different classes causes decreasing property of the classifiers. However, in the daily life, more important information is provided by the less class . Thus , how to improve classifier’s property of the less class effectively is urgently a hot topic in machine learning.

In this paper, we mainly take a research about the improving programs of SVM classification in condition of sample imbalance:

Firstly,this paper introduces basic theory of SVM from three aspects: linearly separable, linearly inseparable,non-linear. And we also analysis the influence sample imbalance takes to classification.

Secondly, we take a search about the improving programs of SVM classification based on sample imbalance in the matter of data level and its main idea is changing the sample size, namely, increasing the less sample and reducing the more sample make both samples balanced to improving clssification accuracy.

Thirdly, we take a search about the improving programs of SVM classification based on sample imbalance in the matter of algorithm level. We improve the classification performance of SVM by assigning different penalty parameter for different categories of sample.

Keywords: Sample imbalance; Support Vector Machines; Sample size adjustment; penalty parameter adjustment

目 录

摘 要 I

Abstract II

目 录 III

第一章 绪论 1

1.1研究背景 1

1.2研究意义 2

1.3国内外现状 2

1.4论文结构 3

第二章 支持向量机基本原理 5

2.1支持向量机 5

2.1.1线性可分 5

2.1.2 线性不可分 7

2.1.3 非线性情形 7

2.2样本不对称对分类带来的影响 9

2.3小结 12

第三章 基于样本数量调整的分类性能提升方案 13

3.1数据预处理方法 13

3.2 SMOTEBoostSVM集成分类器 14

3.2.1AdaBoost分类器 14

3.2.2 SMOTE增加少数样本法 15

3.2.3 SMOTEBoostSVM集成算法 15

3.2.4仿真实验 16

3.3基于遗传交叉运算的支持向量机改进方法 19

3.3.1基于交叉算子的新样本生成方法 19

3.3.2仿真实验 20

3.4基于欧氏距离的改进欠采样方法 22

3.4.1样本距离定义 22

3.4.2样本集分类 23

3.4.3参数分析 24

3.4.4步骤描述 25

3.4.5仿真实验 25

3.5小结 27

第四章 基于惩罚因子调整的分类性能提升方案 28

4.1基于有效集法的改进支持向量机算法 28

4.1.1 SVM惩罚因子C的作用分析 28

4.1.2改进的SVM 29

4.1.3数值实验 32

4.2 分布平衡法 33

4.2.1确定平衡因子 33

4.2.2模型建立 34

4.2.3实验 34

4.3自调整支持向量机 37

4.3.1惩罚因子自调整策略 37

4.3.2自调整SVM的分类性能 39

4.3.3实验分析 40

4.4小结 42

第五章 总结与展望 43

参考文献 45

致 谢 48

第一章 绪论

1.1研究背景

支持向量机（Support Vector Machine)是Vapnik等人提出的一类新型机器学习方法^[1]。它以统计学习理论为基础，能够让小样本、高维数、非线性和局部最小点这些实际的问题得到较好的解决。因为它出众的学习性能，SVM已成为继神经网络之后新的研究热点，并成功应用在很多领域，例如人脸检测、文本自动分类、字符识别等。在机器学习的领域中，以学习理论为基础的SVM成为了热门的方法，它具有较强的泛华能力、较小的结构风险、较好的分类性能以及在凸二次规划的解决问题上能够避免多解。

在类分布对称、样本量近似的条件下使用标准的支持向量机，其分类精度较好。但是，样本不对称时，标准的支持向量机的分类性能下降程度很明显。这些年，研究热点逐渐偏向不对称样本的分类问题。

请支付后下载全文，论文总字数：33939字