多类支持向量机算法综述

多类支持向量机算法综述

第24卷第4期2005年12月

计　算　技　术　与　自　动　化ComputingTechnologyandAutomation

Vol124,No14

　Dec.2005

文章编号:1003-6199(2005)04-0061-03

多类支持向量机算法综述

黄　勇,郑春颖,宋忠虎

(空军工程大学导弹学院,陕西三原　713800)

摘　要:传统的支持向量机是基于两类问题提出的,如何将其有效的推广至多类问题仍是一个有待研　　

究的问题。本文中作者致力于对现有的几种较有成效的多类支持向量机做一介绍,并比较其优劣,以期对研究者以后的研究能有所启发。

关键词:支持向量机;多类;有向无环图;纠错编码支持向量机中图分类号:TP391　　　　　　文献标识码:A

Multi-classSupportVectorMachinesHUANGYong,ZHENGChun22(MissileInstituteofAirForce713800,China)

　　Abstract:TraditionalSupport(designedforbinaryclassification.Howtoeffectively

extenditformulti-researchissue.Thispaperwilltypicallyintroduceseveralexistingmulti-classclassifierandanddisadvantage.Theauthorhopesthatthisarticlecangiveinvestigatorssomeillu2minationintheirpresentdayinvestigation.

Keywords:supportvectormachines(SVM);multi-class;DAG;ECOCSVMS

1　引言

机器学习是现代智能技术中十分重要的研究领域,它

通过对已知数据的学习,找到数据内在的相互依赖关系,从而获得对未知数据预测和对其性质的判断能力[1]。支持向量机(SVM)[2]是新型机器学习方法,具有完备的统计学习理论基础,它采用结构风险最小化原则代替传统统计学中的基于大样本的经验风险最小化原则,克服了神经网络受到网络结构复杂性和样本容量的影响大,容易出现过学习或低泛化能力的不足,对于小样本数据分析具有出色的学习能力和推广能力,在模式识别和函数估计中得到了有效的应用[3]。不过,SVM是一种两类分类器,而实际需要解决的一般是多类问题。因此如何将SVM有效的应用于多类分类已成为人们研究的热点[4]。至今,人们对多类支持矢量机求解分类问题的研究虽还有待完善,但也取得了一定的成就,提出了几种卓有成效的方法。下面作者将对几种有见地的多类支持向量机一一做一介绍,并比较其优劣,以便广大研究者在今后的研究中能汲取各种方法之优点,尽量避免现有方法存在的各种弊端,研发更加行之有效的多类分类器。

2　多类支持向量机

传统的SVM是基于两类问题的,而实际需要解决的一般是多类问题。因此将SVM应用于多类问题对挖掘SVM的应用潜力将具有非常重要的意义。目前,利用SVM处理多类分类问题是当前的研究热点之一,研究者们已提出了一些卓有成效的方法,现归纳如下:

2.1　解决n-类问题的直接方法

该方法是以Weston[5]在1998年提出的多值分类算法为代表,这个算法在经典SVM理论的基础上重新构造多值分类模型,通过SV方法对新模型的目标函数进行优化,实现多值分类,它实际上是标准SVM中二次优化问题的一种自然的推广:

)=min<(ω,ξ

2

m=1

∑

n

(ωm ωm)+C

i=1m≠y

ξ∑∑

i

l

m

i

其约束条件为:

(ωy <(xi))+by≥(ωm <(xi))+ii

m

　　　　bm+2-ξi

mξi≥0,i=1,…,l..　　m,yi∈{1,…,n},由此,得到下面的n类SVM分类器的决策函数:

(1)

收稿日期:2005-04-13

基金项目:陕西省自然科学研究项目(2004F36)

),男,湖南长沙人,研究方向:计算机控制,支持向量机(E-mail:21cnn01@);郑春颖(1979—),女,陕作者简介:黄勇(1973—

西户县人,研究方向:模式识别,支持向量机。