论文总字数：12740字

摘 要

关键词：支持向量，核函数，最优分类面

Abstract: With the development of neural network and computer technology, support vector machine is one of the hot points in pattern recognition.In this paper,the theory and method of support vector machine which are used for classification recognition are introduced,and some examples are used to discuss the application of support vector machine in various fields.

Keywords: support vector machine, kernel function, optimal hyperplane

目录

1 引言 4

2 支持向量机 4

2.1 支持向量机概述 4

2.1.1 期望风险 4

2.1.2 经验风险 4

2.2 线性可分的最优分类面 5

2.3 线性不可分的最优分类面 6

2.4 非线性分类面 7

2.5 支持向量机的MATLAB编程实现 8

2.5.1 线性分类 8

2.5.2 非线性分类 9

3 支持向量机的分类识别应用 13

3.1 植物分类识别 13

3.2 手写体数字识别 14

3.3 机器故障分类识别 15

3.4 膨胀土分类识别 17

3.5 遥感图像分类识别 18

结论 21

参 考 文 献 22

致谢 23

1 引言

支持向量机（Support Vector Machine,简称SVM）以统计学习理论为理论体系，通过寻求结构风险最小化来实现实际风险的最小化，追求在有限信息条件下得到最优结果.

以往困扰机器学习方法的很多问题，如非线性和维数灾难问题、局部极小问题等，通过支持向量机可以得到一定的解决，并且支持向量机在文本分类、语音识别、遥感图像分析、故障识别等诸多的领域有了成功的应用.随着支持向量机理论的不断发展和成熟，加之神经网络等学习方法在理论上缺乏实质性的进展，支持向量机开始受到越来越广泛的关注^【1】.

2 支持向量机

2.1 支持向量机概述

支持向量机理论的最大特点是根据结构风险最小化原则,尽量提高学习的泛化能力,即由有限的训练集样本得到的小误差仍能够保证对独立测试集的小误差.支持向量机算法是一个凸优化问题,保证了局部最优解则一定是全局最优解.

在处理非线性问题时,通过引入核函数的办法,将非线性问题转化为某个高维空间的线性问题,从而实现样本的分类.

2.1.1 期望风险

假设有个样本，每个训练样本由一组向量组成：()并且每一个都有一个与之对应.又假设在这些均匀分布的训练样本中存在一些未知分布的，都是独立且同分布的.

一个学习机器的任务就是找到的映射关系.因此学习机器可以被定义为一系列的集合，其中是可变参数.对于一个给定的输入和被选定的参数，学习机器的输出保持不变都为.不同的有与之相对应的一个样本训练器．学习机器的测试误差，即期望风险为（Expected Risk):

　　　　　　 (2-1)

2.1.2 经验风险

期望风险是判断一个学习机器质量好坏的最重要标准，但很难通过计算得到.所以人们引入经验风险来近似表示期望风险.经验风险（Empirical Risk)表示的是训练集上能被测量到的错误.即

　　　　　　 （2-2）

根据统计学习理论中关于函数集的推广性的界的结论，期望风险和经验风险之间至少以不少于1-（）的概率存在.即

（2-3）

式中：是函数的VC维数，为训练样本数.

2.2 线性可分的最优分类面

（1）最优分类面

考虑一个两类训练样本集的分类问题：

（2-4）

存在如下超平面：，使得训练样本集完全正确分开，同时满足距离超平面最近的两类点间隔最大，我们称样本集被超平面最优划分．归一化超平面方程，使得所有样本集满足如下约束条件：

（2-5）

此时分类间隔为，最大间隔等价于使最小．使分类间隔最大实际上就是对学习机器推广能力的控制，这是SVM的核心思想之一．统计学习理论指出，在N维空间中，设样本分布在一个半径为R的超球范围内，则所有分类间隔为的正则超平面构成的指示函数集的VC维满足下面的界：

（2-6）

因此，使最小就是使VC维的上界最小，从而实现结构风险最小化（Structure Risk Minimization，SRM）准则中对函数复杂性的选择．

（2）最优问题求解

在线性可分情况下，在结构风险最小化准则下的最优超平面问题，可以表示为如下的约束优化问题：

（2-7）

式中问题的最优解可以通过求解拉格朗日函数的鞍点得到，定义如下的Lagrange 函数：

（2-8）

其中，为各样本对应的 Lagrange 系数．

求解式（2-8）的最小值，可以令该泛函对和求偏导，并令它们等于0，就可以把上述求最优分类面的问题转化为较简单的对偶问题．其对偶问题由如下形式：

（2-9）

这是一个不等式约束下二次函数寻优的问题，存在唯一解．若最优解为，则有：

(2-10)

其中，是分类阀值，可由约束条件(2-5)求解.为不为零的样本，即为支持向量.因此，最优分类面的权系数向量是支持向量的最优组合^[2].

剩余内容已隐藏，请支付后下载全文，论文总字数：12740字