基于高斯混合模型的遥感影像半监督分类

第36卷第1期2011年1月武汉大学学报 信息科学版

GeomaticsandInformationScienceofWuhanUniversityVol.36No.1Jan.2011

文章编号:1671-8860(2011)01-0108-05文献标志码:A

基于高斯混合模型的遥感影像半监督分类

熊 彪1 江万寿1 李乐林1

(1 武汉大学测绘遥感信息工程国家重点实验室,武汉市珞喻路129号,430079)

摘 要:提出了对每一类地物的光谱特征用一个高斯混合模型(Gaussmixturemodel,GMM)描述的新思路,并应用在半监督分类(sem-isupervisedclassification)中。实验证明,本方法只需少量的标定数据即可达到其他监督分类方法(如支持向量机分类、面向对象分类)的精度,具有较好的应用价值。关键词:遥感影像分类;半监督分类;高斯混合模型中图法分类号:P237.4

当今遥感影像获取手段快速发展,不仅影像分辨率越来越高,而且数据量也迅速增加[1]。然而,数据处理方法的发展却难以跟上影像获取技术的步伐,如何从影像数据中快速地提取信息已成为一道难题。

半监督学习利用少量的标定数据协同未标定的数据得到精确的分类边界[3]。半监督分类承认标定数据不足,并在学习样本有限的情况下,利用新出现的数据不断学习,这更符合人脑的学习机制。因此,半监督学习在最近十多年快速发展,并迅速应用在网络标定、图像索引、语音识别等各个方面[3,4],同时也有学者将其引入到遥感影像分类[5,6]。高斯混合模型在图像分割、视频图像背景建模、运动物体检测等方面也都取得很大成功,但用于影像分类的研究却不多[7]。文献[8]考虑到遥感图像中地物在光谱空间表现为多种密度分布的混合,并借助期望最大(expectationmaximization,EM)算法估算每个类别的概率密度曲线参数,但它依然是将单类地物的光谱特征表示为单峰的正态分布。文献[9]将QuickBird图像中的房屋用一个高斯混合模型描述,不同子高斯项代表不同的房屋类型,从而将房屋分为精细的类型,验证了高斯混合模型对单类物体分类时的有效性。

[2]

法之一[10],但一般情况下都是假设各类别的数据为高斯分布[11],对遥感数据拟合并不理想,这给实际应用带来很多限制。本文利用高斯混合模型拟合每一类别的特征概率分布,实验证明,每个类别的概率函数只需要由3个左右分量的高斯混合模型即可以充分表达。

1.1 高斯混合模型及最大似然估计

设X=[X1, ,Xd]

T

T

是d维的随机变量,

x=[x1, ,xd]表示X的一个实例。如果它的概率密度函数能写成k个成分的密度分布的加权平均和:

P(x| )=

m=1

p(x|

m

k

m)(1)

则认为X服从有限混合分布,其对应的模型就为有限混合模型。其中, 1, , k是各个成分分布混合的权值; m是第m个成分分布的参数;{ 1, , k; 1, , k}是所有参数的集合;同时 m必须

满足如下条件 m 0,m=1, ,k且

m=1

k

m

=1(2)

如果假设所有成分的概率分布都服从高斯分布,则所对应的模型为高斯混合模型。而d维的高斯混合模型的参数 实际上由两个参数所决定:均值向量 和方差矩阵 。

在式(2)约束下,式(1)参数的解析解比较复杂,一般采用迭代方法[13]。即先建立样本的最大似然方程,然后采用EM算法对类参数及混合参

[12]

1 高斯混合模型

贝叶斯分类器现在仍是应用最广泛的分类算

收稿日期:2010-10-18。

:(;

第36卷第1期熊 彪等:基于高斯混合模型的遥感影像半监督分类

109

数进行估计。

最大似然估计的基本假设是所有N个样本的集合X={x(1), ,x(N)}是独立的,则其似然函数可定义如下:

l( )=p(X| )=

n=1

其中, l={ l1, , lk; l1, , lk}为参数集合,kl

ll由地物光谱分布的特性选取最佳的高斯分量数,

概率分布p(x| lm)服从高斯分布。根据概率理论的叶贝斯公式,未知数据点x属于wl类的后验概率为:

P(wl|x)=

n

p(x

N

n

| )(3)

进一步定义对数似然函数为:

H( )=ln[l( )]=将式(1)代入式(4),得:

H( )=

n=1N

k

n=1

llP(x)

(13)

lnp(x

N

| )(4)

式中,P(wl)为先验概率,也就是在图像中类别出

现的概率;P(x|wl)为似然概率,为在类别wl中出现像元点x的概率,由式(12)计算得到。

L

ln mp(x| m)

m=1

(5)

由于P(x)=l P(x|wl)P(wl)与类别wl无=1

关,对各类来说是一个公共因子,在比较大小时不起作用,判断类别时可以去掉,此时,最大似然判

别规则变为[13]:

x wl,当且仅当:

P(x|wl)P(wl) P(x|wj)P(wj)(14)式中,所有l和j都来自1,2,3, 种可能的类别。

所谓最大似然估计,就是要找到使式(4)最大的 的估计值^ ,即

H(^ )=max

n=1

ln p(x|

m

m=1

Nk

m)(6)

1.2 EM算法估计高斯混合模型参数

参数估计的EM算法是由Dempster等提出的[12],它分为E(expectation)步和M(maximiza-tion)步。对于高斯混合模型,采用EM算法进行参数估计的过程如下。

E步:首先初始化参数 m、 m和 m,计算样本n属于第m类的后验概率:

Qmn= mp(x| m)

标准化后为:

Rmn

mn

==Qn

mmm

2 半监督分类

一般认为,半监督学习的研究始于Shahshaha-ni和Landgrebe的工作[14]。半监督学习认为标定数据比较少,不足以代表分类空间,在分类的过程

中利用标定数据和未标定数据协同分类,通过合理建立未标定数据的分布和学习目标之间的联系,就可以利用未标定示例来辅助提高学习性能。

根据半监督学习算法的工作方式,现有的半监督学习算法可分为以下3大类: 生成式模型为分类器; 基于图正则化框架的半监督学习算法; 协同训练(co-training)算法。这些方法的特点是对嵌入映射或者低维流形作出某种特定的假设,或者以保持高维数据的某种性质不变为

[12]

[15]

(7)

m=1

p

(8)

(x| m)

服从高斯分布。

M步:最大化式(8),得到新的参数 m、 m、 m。具体公式计算如下:

m=

n=1

R

N

N

mn

(9)

目标,将问题转化为对应优化问题的求解。这些算法都取得很好的实验结果。不过由于一般的计

算需要迭代,一般半监督算法计算时间都比较长,对于大数据量的遥感图像处理效果不甚理想。

m=

n=1

N

Rmnxn

(10)

T

mN

(11)mN

利用式(8)~式(11),迭代收敛后,可以得到样本n属于第m类的后验概率Rmn。1.3 基于高斯混合模型的贝叶斯分类

假设遥感影像中每一类的数据均可以用高斯混合模型表达,则第l类数据的概率函数为:

k

l

m=

n=1

R

N

mn

(xn- m)(xn- m)

3 本文算法

一般的生成式模型半监督分类方法是假设整个数据集的概率分布服从一个高斯混合模型,每一类别用一个高斯函数表述

[6,12]

。但从上文的讨

论可知,在遥感影像中地物的光谱分布比较复杂,每类地物难以用高斯函数表述,而本文发现遥感影像每一类地物的光谱特征空间用3个左右分量P(x| l)=

1

lmp(x| lm)(12)

110武汉大学学报 信息科学版2011年1月

模型用于生成式的半监督分类,对每类地物给出少量标定点,就可利用大量的未标定数据准确估计模型参数,

提高分类器的泛化能力。

征呈现高斯分布,而其他部分大都为多个波峰,如湖波、草地,而不透水层的直方图除了一个明显的波峰,还有很大一部分为长条状,这样复杂的特征空间,只有一个波峰的高斯函数难以有效描述。高斯混合模型的高斯分量数与拟合误差的关系如图4,其中拟合误差Err=-H(^ ),H(^ )为按式(6)估算的最大似然值。为方便显示和比较,图中采用相对拟合误差,即拟合误差与最大拟合误差的比值。从图4可以看出,概率密度函数在拟合4种地物的光谱特征分布时,与高斯函数相比,混合模型在3个分量时的拟合误差可以降低10%

图1 基于高斯混合模型的半监督分类算法流程Fig.1 ProcessofSem-iSupervisedClassification

basedonGaussMixtureModel

左右,而在5个分量时可降低15%,若再往上增加分量数已难以明显提高拟合精度,而分量数的增加会提高计算费用。因此,应用时一般选取3~5个分量数的高斯混合模型即可,本文以下实验选取3

个分量。

算法流程如图1所示,首先利用标定数据训练得到每个类别的模型参数,并将每一类别的标定数据占所有标定数据总数的比值作为这个类别先验概率,对所有待分类样本按式(13)计算后验概率,通过贝叶斯规则将整个数据集分类,并将分类结果作为标定数据,用于下一次训练。如此循环迭代,直到分类精度达到要求,或者迭代次数超过某一给定值。通过大量的实验证明,本文提出的方法只需少量的标定数据,即可达到需要大量标定数据的分类器才能够达到的精度要求。

4 实 验

本文实验以GoogleEarth上截取的某城市郊区的高空间分辨率影像通过实验来验证本文算法的有效性。如图2所示,该地区地物丰富,包括小树林、湖泊、道路以及房屋,由于道路与房屋在颜色上非常接近,而本文只利用了影像3个波段(R、G、B)的颜色信息,难以分开,故在分类时将

它们都归为不透水层。

图3 样本直方图与高斯混合模型曲线Fig.3 HistogramsofSamplesandCurvesofGMM

s

图4 拟合误差与高斯分量数的关系Fig.4 RelationshipBetweenFitErrorand

图2 实验数据与采样样本

Fig.2 ExperimentDataandLabelSamples

CentersofGMM

半监督分类利用少量标定数据协同未标定数据分类,可以根据待分类数据的信息精化分类曲面。如表1所示,本文方法迭代5次后分类结果就比较稳定,分类精度不再随着迭代次数提高。图3说明的是高斯混合模型对各类地物光谱特征描述的有效性。从该图的直方图来看,自然地物的高空间分辨率影像很复杂,只有树木的特

第36卷第1期熊 彪等:基于高斯混合模型的遥感影像半监督分类

111

分布情况,湖泊被树木包围,迭代后不断向树木分布的中心移动;而草地最开始只占有一小角落,迭代后慢慢扩张,吞并树木尤其是不透水层的不少位置。图6是经过若干次迭代后的分类结果。

表1 本文不同迭代方法分类精度与迭代次数的关系Tab.1 ClassificationAccuracyinDifferentLteration

迭代次数

1

2

3

4

5

6

7

8

稍高于最大似然法和支持向量机法,低于面向对象法,如表2所示,但本文方法能较好地分辨出各种地物,不会产生打断、割裂地物的现象。

为了验证本文方法对多光谱数据的推广能力,实验二采用的数据为TM影像,如图8所示,图8(a)为伪彩色图像,图8(d)为训练样本。与实验一相同,本文利用Envi4.5软件完成最大似然法、面向对象法以及支持向量机分类。不同方法的分类Kappa系数为:最大似然法0.796,面向对象法0.819,支持向量机法0.833,本文方法0.836,可知本文方法在对多光谱数据分类时分类结果也比较好。而从分类结果图像来看,本文方法能够较好地保留带状地物的空间分布特征,如道路和河流。从这组实验可知,当数据包含较多的带状地物时,面向对象法分类精度迅速减低,甚至还不及最大似然法的结果。

表2 高分辨率图像分类精度Tab.2 ClassificationAccuracyforforHigh

ResolutionImage

分类方法最大似然法面向对象法支持向量机样本数Kappa系数

891420.795

891420.893

891420.847

本文方法310190.850

Kappa

0.7850.8370.8450.8490.8500.8510.8500.

851

系数

图5 若干次迭代后的分类特征空间Fig.5 FeatureSpacesoafterSeveralLoo

ps

图6 若干次迭代后的分类结果

Fig.6 ClassificationResultsafterSeveralLoops

需要注意的是,本文方法虽然能够利用未标定数据提高分类器的泛化能力,但在采集标定数据时,仍然需要采集典型地物,否则分类结果不能得到明显优化。

图7将本文方法与其他经典方法作比较。最大似然法、面向对象法以及支持向量机选用的样本为图2(b)所示数据,而本文方法采用的样本数量不到这些方法所采用的样本的一半。这里的最大似然法、面向对象法以及支持向量机分类是利用Envi4.5软件完成的。由图5可知,在特征空间上湖泊完全被树木包围,一般的方法难以得到较好的分类结果,如图7中的1号区域所示,最大似然法和支持向量机均将湖泊的很多区域误分为树木,而面向对象与本文方法均能得到满意的结果。但是,由于面向对象法适合提取块状地物,分割时很容易将长条状地物断裂并误分为其他地物,如图7中的2号区域的道路,而其他方法,包括本文方法均能得到较好的分类结果。从总体的

,图8 多光谱数据分类实验结果

Fig.8 ClassificationResultsforMultispectralData

图7 高分辨率图像分类结果

Fig.7 ClassificationResultsforHighResolutionImage

112武汉大学学报 信息科学版2011年1月

参 考 文 献

[1] 李德仁.摄影测量与遥感学的发展展望[J].武汉

大学学报 信息科学版,2008,33(12):1211-1215[2] 钟燕飞,张良培,李平湘.遥感影像分类中的模糊

聚类有效性研究[J].武汉大学学报 信息科学版,2009,34(3):308-312

[3] ZhuX.Sem-isupervisedLearningLiteratureSurvey

[R].ComputerScience,UniversityofWisconsin-Madison,2007

[4] 余鹏,封举富.基于多分辨率小波和高斯混合模型

的纹理图像分割[J].北京大学学报(自然科学版),2005,41(3)[5] BruzzoneL,

ChiM,

MarconciniM.

ANovel

TransductiveSVMforSemisupervisedClassificationofRemote-sensingImages[J].IEEETransactionsonGeoscienceandRemoteSensing,2006,44(11)[6] Gomez-ChovaL.Sem-isupervisedImageClassifica-tionwithLaplacianSupportVectorMachines[J].IEEEGeoscienceandRemoteSensingLetters,2008,5(3):336-340

[7] VatsavaiR,ShekharS,BurkT.ASem-isupervised

LearningMethodforRemoteSensingDataMining[J].IEEEComputerSociety,2005:207-211[8] 骆剑承.有限混合密度模型及遥感影像EM聚类算法

[J].中国图像图形学报,2002(A辑),7(6):570-575[9] 高妙仙,毛政元.基于高斯混合模型的建筑物

QuickBird多光谱影像数据分类研究[J].国土资源遥感,2009(2):19-23

[10]McIverD,http://ingPriorProbabilitiesinDec-i

sion-treeClassificationofRemotelySensedData[J].RemoteSensingofEnvironment,2002,81(2):253-261[11]WuW,ShaoG.OptimalCombinationsofData,

Classifiers,andSamplingMethodsforAccurateCharacterizationsofDeforestation[J].

Canadian

journalofremotesensing,2002,28(4):601-609[12]DempsterA,LairdN,RubinD.MaximumLikel-i

hoodfromIncompleteDataviatheEMAlgorithm[J].JournaloftheRoyalStatisticalSociety,SeriesB(Methodological),1977,39(1):1-38

[13]RichardsJ,JiaX.RemoteSensingDigitalImage

Analysis:anIntroduction[M].NY:SpringerVer-lag,2006

[14]ShahshahaniB,LandgrebeD.TheEffectofUnla-beledSamplesinReducingtheSmallSampleSizeProblemandMitigatingtheHughesPhenomenon[J].IEEETransactionsonGeoscienceandRemoteSensing,1994,32(5):1087-1095

[15]周志华.机器学习及其应用[M].北京:清华大学

出版社,2007

第一作者简介:熊彪,博士生。主要研究方向为遥感图像处理、智能信息提取。

E-mail:xiongbiaostar@http://

GaussMixtureModelBasedSem-iSupervised

ClassificationforRemoteSensingImage

XIONGBiao1 JIANGWanshou1 LILelin1

(1 StateKeyLaboratoryofInformationEngineeringinSurveying,MappingandRemoteSensing,

WuhanUniversity,129LuoyuRoad,Wuhan430079,China)

Abstract:Sem-iSupervisedClassification,whichutilizesfewlabeleddataassignedwithunlabeledda-tatodetermineclassificationborders,hasgreatadvantagesinextractingclassificationinformation

frommassdata.WefindGaussmixturecanwellfittheremotesensingimage sspectralfeaturespace,proposedanovelthoughtinwhicheachclass sfeaturespaceisdescribedbyoneGaussMix-tureModel,andthenusethethoughtinSem-iSupervisedClassification.Alargenumberofexper-i

encesshowsthatbyusingasmallamountoflabelsamples,themethodproposedinthispapercanachieveasgoodclassificationaccuracyasothersupervisedclassificationmethods(suchasSupportVectorMachineClassification,ObjectOrientedClassification),whichneedlargeamountoflabelsamples,andsohasastrongapplicationvalue.Keywords:classificationofRSimage;sem-isupervisedclassification;Gaussmixturemodel

Aboutthefirstauthor:XIONGBiao,Ph.Dcandidate,majorsinremotesensingimageprocess,andintelligentinformationextraction.E-