多类支持向量机算法综述(3)

多类支持向量机算法综述

第24卷第4期黄　勇等:多类支持向量机算法综述63

SVM与其他模式识别方法融合的多类分类方法。本节将对两种有创意的方法做一介绍。

(1)模糊多类支撑矢量机

模糊集理论是为了刻画事物的不确定性提出的理论,将模糊集理论应用于模式识别将使识别结果更符合客观事实,有利于提高识别率。最早提出模糊SVM的是Takuyalnoue和ShigeoAbe2001在IJCNN中发表的文章FuzzySupportVectorMachinesforPatternCladdification中提出的,文中尽管给出了模糊支撑矢量机样本类别的隶属函数,但是却没有有效的引用且计算公式比较复杂。因此后来的研究者们致力于对其进行改进。比较有代表性的一个

[16]

是郑春红等提出了一种基于FSVM的雷达多目标识别方法,该法在最优超平面这一概念的基础上,根据该区域样本点的决策函数定义样本类别的模糊隶属度,并在此基础上,提出新的模糊多类支撑矢量机,修正了决策函数,此法能够减少目标的错分和拒分数量,在识别率上有了很大的提高,而且对于高维的雷达距离像不需要做任何的特征提取。同时,当多分类器训练好以后,目标识别仅仅是计算模糊决策函数的值,可以大大地减少识别时间;另一个是李昆仑[17]等提出的一种模糊多类支持向量机模型,即FMSVM。该方法是在Weston等人提出的多类SVM模型中引入模糊成员函数,影响,该模糊成员函数为其赋予不同的值,惩罚值。果影响很小的数据,响。,好。

(2)融合无监督和监督两种学习策略生成多分类决策树方法

该方法有邱德红[15]等提出的。它首先利用无监督聚类方法能够发现待分类样本之间的内在联系和规律的特点,确定出最为符合多类样本分布特征的决策树的树型,继而利用监督学习支持向量机的方法对样本进行准确的分类。该方法具有灵活解决问题的能力,实现了策略之间的优势互补,在解决多分类问题上体现了问题产生的刺激机制和人们区分多种类别时先易后难的思维习惯,实现了比较高的计算效率和分类效果。

Binary:AUnifyingApproachforMarginClassifiers[J].JournalofMachineLearningResearch1(2000)113141:118～129.[2]　李国正等,译.支持向量机导论[M].北京:电子工业出版社,2004.

[3]　边祺,张学工,等.模式识别[M].北京:清华大学出版社,

2004,(8):176～226.[4]　王建芳,等.支持向量机在大类别数分类中的应用[J].北京

理工大学学报,2001,2(2):225～227.[5]　刘志刚,等.支持向量机在多类分类问题中的推广[J].计算

机工程与应用,2004,(7):10～13.[6]　赵晶,等.基予支持向量机的多类形状识别系统[J].合肥工

业大学学报,2004,27(1):23～26.[7]　萧嵘,等.一种具有容噪性能的SVM多值分类器[J].计算机

研究与发展,2000,37(9):1071～1075.[8]　孙即祥,等.现代模式多类识别[M].长沙:国防科技大学出

版社,2002.[9]　U.H.-G.Kre?el,Pairwiseclassificationandsupportvector

machines.InB.Sch¨olkopf,C.J.C.Burges,andA.J.Smo2la,editors,AdvancesinKernelMethods:[J]SupportVectorLearning:255～268.[10]　J.C.,N.,rge

GsInS.A.Solla,T.K.-,editors[J].AdvancesinNeuralSystems12:547～sivakul.Multiclasssupportvectorma2

chinesusingadaptivedirectedacyclicgraph[D].InProceedingsofInternationalJointConferenceonNeuralNetworks(IJCNN2002):980～985.[12]　吴成东,等.基于误差修正码的支持向量机大类别分类方法

[J].沈阳建筑工程学院学报(自然科学版),2004,20(1):66～70.

[13]　FrancescoRicciandDavidW.Aha.EorrorCorrectingOutput

CodesforlocalLearners[J].ChenitzGermany.April1998:21～24.[14]　J.WestonandC.Watkins.Supportvectormachinesformulti

-classpatternrecognition[D].InProceedingsof7thEuropeanSymposiumonArtificialNeuralNetworks(ESANN’99):219～224.[15]　邱德红,等.融合无监督和监督学习策略生成的多分类决策

树[J].小型微型计算机系统,2004,25(4):555～558.[16]　郑春红,等.基于FSVM的雷达多目标识别[J].系统工程与

电子技术,2003,25(11):1358～1361.[17]　李昆仑,等.模糊多类支持向量机模型[J].电子学报,2004,

32(5)830～832.[18]　徐义田,等.基于SVM的分类算法与聚类分析[J].烟台大

学学报,2004,17(1):9～13.[19]　永杰,等.分级聚类支持向量机在汽轮机故障诊断中的应用

[J].华北电力大学学报,2003,30(6):25～29.[20]　廖闻剑,等.基于多分类器决策融合的印签真伪鉴别方法

[J].南京航空航天大学学报,2002,34(4):368～371.[21]　史朝晖.SVM算法研究及在HRRP分类中的应用[D].空军

工程大学导弹学院学位论文,2005,(1):52～54.

3　结论

SVM是基于两类问题提出的,将其应用于多类分类问题必须对SVM进行扩展使它适合于多类分类,这就需一定的策略。综上,我们有以下结论:对一个多类SVM,要么需组合几个二值分类器,要么需构造一个更大的最优化问题。因此,一般地说,多类问题的解决要比具有同样数据量的两类问题的解决复杂得多。现存的各种多类支持向量机虽已应用到实际中并取得了不错的效果,但每种方法都多多少少存在一定的缺陷,更进一步的研究还有待研究者们的继续努力。

参考文献

[1]　ErinL.Allwein,RobertE.Schapire.ReducingMulticlassto