基于人脸的性别识别(内含人脸数据库)

人脸识别

上海交通大学

硕士学位论文

基于人脸的性别识别

姓名：许孜奕

申请学位级别：硕士

专业：模式识别与智能系统

指导教师：施鹏飞

20090120

人脸识别

基于人脸的性别识别

摘 要

人脸是重要的生物特征之一，人脸图像上蕴含了大量的信息，例如

性别、年龄、人种、身份等。人脸的性别识别就是试图赋予计算机根据输入的人脸图像判断其性别的能力。

本文基于人脸正面图像进行性别分类。一般而言，人脸性别识别系

统分为图像预处理，人脸特征提取和分类器识别三部分。本文针对这三个部分展开研究，并比较了几种不同方案的识别性能。

通过对性别识别的重要理论的研究，为了提高性别识别率，本文提

出了采用AdaBoost算法提取整体特征，主动表观模型提取局部特征，组合局部与整体特征后使用支持向量机（SVM）进行分类的方法。本文在一个由AR、FERET、CAS-PEAL-R1、网上收集和实验室自行采集所共同组成的，包含21,300余张人脸的数据库上，进行了大量有意义的实验。实验结果显示，融合了整体特征和局部特征后，识别率比基于（单独）整体特征的、基于（单独）局部特征的有很大的提高，达到了90%以上。本文还通过精心设计的对比实验对预处理过程中人脸有效区域的截取和AdaBoost的结构选择等方面给出了合理的建议。

人脸识别

关键词：性别识别，局部特征，整体特征，AdaBoost，支持向量机，主动表观模型

人脸识别

Gender Recognition Based on Face Features

ABSTRACT

Face is an important biological feature. Face images contain a great deal

of information, such as gender, age, race, ID, etc. Gender recognition is an attempt to give the computers the ability to discriminate the gender information from a face image.

Generally speaking, one gender classification system consists of three

modules, face image preprocessing, facial feature extraction and classifier. This paper researches on the three modules and compares some different methods.

In this paper, a novel gender classification method based on frontal face

images is presented. In this work, the global features are extracted using AdaBoost algorithm. Active Appearance Model (AAM) locates 83 landmarks, from which the local features are characterized. After the fusion of the local and global features, the mixed features are used to train support vector machine (SVM) classifiers. This method is evaluated by the recognition rates over a mixed face database containing over 21,300 images from 4 sources (AR, FERET, CAS-PEAL-R1, WWW and a database collected by the lab).

人脸识别

Experimental results show that the hybrid method outperforms the unmixed appearance- or geometry-feature based methods and achieve a classification rate over 90%. Reasonable suggestions on the extraction of facial region and the selection of AdaBoost structure is given based on carefully designed experiments.

Keywords: gender recognition; local features; global features; AdaBoost; SVM; AAM

人脸识别

学位论文原创性声明

本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独

立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。

学位论文作者签名：

日期： 年 月 日

人脸识别

学位论文版权使用授权书

本学位论文作者完全了解学校有关保留、使用学位论文的规定，

同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权上海交通大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。

保密□，在年解密后适用本授权书。

本学位论文属于

不保密□。

(请在以上方框内打“√”)

学位论文作者签名： 指导教师签名：

日期： 年 月 日 日期： 年 月 日

人脸识别

第一章 绪论

1.1 性别识别问题描述

人脸是重要的生物特征之一，人脸图像上蕴含了大量的信息，例如性别、年龄、

人种、身份等。人机交互技术（HCI）的发展使得计算机视觉、人工智能在监控、GUI人机界面设计等方面发挥了越来越重要的作用。随着技术的进步，基于人脸图像模式识别问题也成为近年来研究的热点。其中包括人脸检测、人脸身份识别、人脸属性（性别、年龄、表情、种族等）识别等各类识别问题。

基于人脸的性别分类就是让计算机根据输入的人脸图像判断其性别的过程。人脸

的性别识别似乎是人们“与生俱来”的能力，但让计算机识别并不容易，即使有大量来自计算机视觉、模式识别、人工智能、心理学等各领域的研究人员的努力，这个问题仍然困扰着他们。

赋予计算机同样的能力一直是人类的梦想之一，如果把照相机、摄像头、扫描仪

等外设看作计算机的“眼睛”，数字图像就是它看到的“影像”，性别识别的目标就是让计算机从“影像”中找到人脸并正确判断其性别。这种识别过程大体上分为以下步骤：

人脸检测/定位

计算机首先检测“影像”中是否存在人脸。如果存在，则给出其位置坐标、旋转

角度、人脸区域大小等信息，以将人脸分离出来，供后续处理。这一步骤主要受到光照、噪声、面部姿态以及各类遮挡的影响。人脸检测是人脸性别识别的前期工作。同时，它也可以作为独立的完整功能模块用于监测、安保系统。

特征提取

在检测到的人脸上提取性别特征，即采用某种编码方式表示检测出的人脸。常用

人脸识别

的特征包括以亮度分布信息为代表的整体特征和以五官的位置和形状轮廓信息为代表的局部特征。特征提取之前往往还需要进行预处理，将这些人脸几何上、颜色上归一化，以削弱遮挡、姿态、光照、饰物等因素的影响。

性别识别

根据提取的面部特征，对待识别人脸的性别做出判断。

1.3 性别识别的研究意义与典型应用

人脸的性别识别的研究始于二十世纪九十年代，问题起初是由心理学家进行研究

的[1][2]，他们致力于了解人类是如何分辨男女性别的。接着，有人从计算机视觉的角度进行研究，主要目标是要得到一个性别分类器。十多年来人脸的性别识别得到了长足的发展，尤其在近些年，更成为一个热门的研究课题，得到大量来自计算机视觉、模式识别、人工智能、心理学等各领域的研究人员的关注。人脸的性别分类几乎涉及到模式识别的不同方法，如人工神经网络（ANN）、主分量分析（PCA）、贝叶斯决策、支持向量机以及AdaBoost算法等等。

性别识别在各个方面都有潜在的广阔的应用前景。

性别识别在身份识别中可以充当“过滤器”的功能，利用检测出来的性别信息可

以显著降低进行身份识别的搜索数量，从而提高身份认证识别速度与精度。[3]

性别识别也是智能人机接口领域的重要研究内容之一。让计算机理解人脸面相的

丰富信息并能加以分类，这恰是智能人机接口研究需要解决的问题之一，也是机器智能的重要表现。它的最终解决可以极大的改善目前呆板、不方便的人机交互环境，提供更为个性化的服务。例如可以在大型游乐场所、主题公园的导游车上配备这类系统，让计算机根据使用者不同的性别分布，随机应变地推荐一些更具针对性的商品或者旅游景点。也可以为超市、商店等提供分类更详细的统计信息，提供收集潜在客户数据的自动化途径，帮助其向消费者提供更具针对性的促销服务，从而在一定程度上改变人们的生活质量和生活方式。

自2001年美国“9²11”恐怖袭击发生以来，安全性成为了人们日益关注的主要

人脸识别

问题。为此，各国都投入大量物力人力研究并发展各类识别技术。性别识别也能在安保系统、身份验证系统中起到很大的作用，例如在某些需要限制异性出入的场所可以提供实时的视频监控。又例如可以在奥运会中用来监测，防止个别参赛选手“男扮女装”，利用力量、速度、耐力、爆发力等方面的优势，窃取奖牌的舞弊行为。

1.4 性别识别的研究现状

(1)使用人工神经网络进行的探索性的研究

从上世纪90年代起国外一些学者开始了人脸性别识别问题的研究，他们致力于

理解人类判定性别的视觉处理机制，主要采用的是人工神经网络的方法。如Golomb等[1]训练了两层神经元网络SEXNET，用来识别30³30的人脸图像的性别。Cottrell和Metcalfe[2]差不多同时做了类似的实验，他们先对样本进行主分量分析，然后训练BP 神经元网络用于识别人脸的表情和性别。Brunelli和Poggio[4]训练了一个HyperBF网络，使用16个几何特征进行性别分类。Tamura等人[5]训练了一个三层BP网络，在8³8的低分辨率人脸图像上取得了93%的分类结果。Abdi等人[6]用RBF网络和一个感知器进行实验，他们比较了基于几何特征和基于像素分布特征的性别识别方法，两者基本达到了相近的准确率。

(2)支持向量机算法

Moghaddam等人[7]使用基于RBF核的SVM分类器对21³12的“缩略图”人脸图像

进行性别分类，并与一些传统的神经网络方法和线性分类器方法进行了系统的比较，他们发现SVM的分类效果显著好于其他分类器。实验中使用FERET人脸图像库进行了训练和测试，达到了96.6%的准确率。

(3)AdaBoost分类算法

Shakhnarovich等人[8]将Viola和Jones提出的基于类Haar基特征的AdaBoost

方法应用于性别分类问题，训练并完成了一个自动检测、跟踪、性别识别系统，使用普通网络图片的测试正确率达78%，甚至稍好于他们同时训练用作比对的基于RBF核的SVM分类器的分类精度，而且在识别速度上比之快了约1000倍，达到了很好的效

人脸识别

果。清华大学的武勃、艾海舟等人使用AdaBoost算法对基于类Haar基特征的LUT弱分类器进行训练分类。实验中使用了FERET图像库以及从互联网获得的一些人脸图像，将所有人脸图像归一化到36³36大小。他们发现比起普通基于阈值若分类器的AdaBoost方法，LUT AdaBoost方法收敛更快识别效果更佳。他们还将LUT AdaBoost方法使用在人脸图像的年龄分类上，分辨成年人和儿童。Baluja和Rowley[9]使用像素比较操作加上AdaBoost分类器，识别率超过93%，高于相同输入的SVM分类器的结果。

(4)基于柔性模型的分类算法

Saatci和Town[3]提出了基于主动表观模型的性别与表情识别方法。他们用AAM

提取的特征来训练SVM分类器。他们在AR、IMM和FEEDTUM人脸库上对符合条件的正面图像进行测试，识别率达到了97.6%。他们还尝试在性别识别之前先用表情识别进行分类，期望能一定程度地提高性别分类的精度，但实验结果却并不理想，识别率不升反降，他们指出可能的原因是训练样本数目太小。Costen等[10]提出了稀疏矩阵SVM分类方法，目的是选择出最重要的特征，并尽量使类间的距离最大化。在他们300幅正面并手工标定76个特征点的日本人脸图像构成的测试集上，识别率达到了94.42%。

(5)基于主分量分析特征的分类算法（PCA）

由于面部图像存在大量冗余信息，PCA技术，或者说KL变换[11]在人脸识别领域

也有大量成功的应用，性别识别也是如此。Balci和Atalay[12]使用PCA和多层感知器网络（MLP）进行性别识别。Wilhelm和Backhaus[13]结合PCA和独立分量分析（ICA）进行特征选择，他们分别使用最近邻分类器、MLP和一个RBF网络进行识别。Alice等[14]系统地研究了人脸女性化程度、男性化程度、可识别程度和漂亮程度之间的关系，并用PCA 模型对人脸中所含信息的统计结构进行了定量计算，他们还用PCA 方法从人脸的三维模型（结构和纹理）中提取特征，并用于训练性别分类的感知机[15]。清华大学的武勃、艾海舟[15]等人通过实验系统地分析了几种解决方案，包括基于象素特征的SVM 方法、PCA+SVM 方法、PCA+Adaboost 方法、PCA+Adaboost+SVM 方法和最佳

人脸识别

特征提取即FLD+CSCIE（Centralized Sample's Classification Information Extracting）+SVM 方法，并比较了这5 种方法之间的优劣。实验结果表明采用主分量分析进行特征抽取后的本征向量作为分类器的输入和直接采用原始象素作为分类器输入，最终的分类正确率并没有很大差别。

(6)其他的分类方法

Nishino等人[17]借鉴了生物医学知识：不同性别的面部的热量分布是不一样的，

男性的温度较女性稍高，提出了基于热成像仪获取的人脸图像进行性别分类的方法。但从实验结果来看，其识别率并不高，只能达到75%左右。上海交通大学的吕宝粮等人[18]利用最大最小模块化支持向量机进行性别分类，他们将结果与传统支持向量机方法进行了对比，实验结果表明，最大最小模块化方法有效地提升了支持向量机的分类能力，在两个测试集上准确率都提高了约6个百分点。

1.5 常用人脸图像库

进行人脸识别问题的研究或实验都需要建立包含各种典型人脸的图像库，尤其是

在统计学习占主导地位的今天，模型训练所采用的人脸库的人数规模、覆盖的成像条件变化在很大程度上影响着算法的精度和鲁棒性能。目前大部分人脸方面问题的研究和实验都是基于一个或若干个人脸图像库来进行的。下面简单介绍人脸识别领域比较常用的人脸图像数据库的情况。

FERET人脸图像库[19]

为了促进人脸识别算法的研究和实用化，美国国防部的国防高级项目研究组和美

国军方研究实验室开展了人脸识别技术工程(Facial Recognition Technology)计划，简称FERET，并建立了用于测试人脸识别算法的通用标准人脸图像库FERET，FERET人脸图像库是目前最大的人脸性别识别方法研究图像库，其中每人8幅图像，包括正面人脸图像，以及向左右侧面旋转不同角度(不大于45度)的图像。该图像库中的图像在拍摄条件上有一定的限制，人脸的大小约束在某个规定的范围内。目前包含14,051 幅多姿态、不同光照条件的灰度人脸图像，并严格划分了训练集合、Gallery、

人脸识别

不同的测试集合等，是人脸识别领域应用最广泛的人脸数据库之一。该图像库的图像数目在逐年增加。

ORL人脸图像库[20]

由剑桥大学 AT&T 实验室创建，该图像库由不同时段的，背景为黑色的，姿态、

表情和面部饰物均有变化的40 人共400幅灰度图像组成，该库在人脸识别研究的早期经常被采用，由于变化较少，所以常常能达到很好的分类效果。

Yale人脸图像库[21]

Yale人脸图像库是由耶鲁大学计算视觉与控制中心创建，包含15人，每人11

幅图像组成，主要包括光照条件和人脸表情的变化。Yale人脸图像库B包含了 10 个人的5850 幅多姿态、多光照的图像。

PIE 人脸数据库[22]

由美国卡耐基梅隆大学创建，包含 68 位志愿者的41,368 张多姿态、光照和表

情的面部图像。其中的姿态和光照变化图像也是在严格控制的条件下采集的。

AR人脸图像库[23]

该人脸库是由西班牙巴塞罗那计算机视觉中心于1998 年创建的，包括116 人光

照变化，佩戴墨镜，尺度变化，表情变化和佩戴围巾等情况的人脸图像共3,288 幅。

CAS-PEAL人脸数据库[24]

该人脸库包含了1,040名中国人共99,450幅头肩部图像。所有图像在专门的采

集环境中采集，涵盖了姿态、表情、饰物和光照四种主要变化条件，部分人脸图像具有背景、距离和时间跨度的变化。

1.6 论文结构

本章介绍了人脸性别的研究意义、研究背景和典型应用，并详细介绍了人脸性别

识别的国内外主要研究状况。本章在最后简要介绍了几个人脸识别领域中常用的人脸图像库。本文余下章节的组织如下：

人脸识别

第二章探讨了常用的性别提取方法，以及他们各自的优缺点，并提出了本文所用

的融合整体和局部特征的识别方法。

第三章论述了性别分类器的选择，并对本文采用的支持向量机理论进行了系统的

介绍和研究。

第四章详细阐述了本文所进行的实验步骤、结果和分析。

第五章是全文的总结和展望。

人脸识别

第二章 性别特征提取方法

性别分类是一个典型的二类问题，人脸性别分类问题需要解决的两个关键问题是

人脸特征提取和分类器的选择。特征的选择与提取是非常重要的，它强烈地影响着后面的分类器的设计及其性能。在数学上，特征提取就是从测量空间到特征空间的一种映射变换。这种变换要符合两个主要准则：特征空间必须保留测量空间的主要分类信息，特征空间的维数必须远远低于测量空间的维数。由于在很多实际问题中常常不容易找到那些最重要的特征，或受条件限制不能对它们进行测量，这就使特征选择和提取的任务复杂化而成为构造模式识别系统最困难的任务之一。性别识别按照提取特征方法的不同大致分为两种：基于整体特征的方法和基于局部特征的方法。一般而言，进行性别识别的过程中，整体特征进行粗略的识别，局部特征在细节上提供补充。但当有独特的局部特征（如光头、络腮胡等）出现，则会首先被用来确定性别。一种常见的观点认为：二者对识别都是必要的，且能互相补充在识别过程中共同起作用[25]。

2.1 整体特征的提取

整体特征主要是指二维图像信息。它并不在意图像究竟是什么样子的，也不需要

依赖额外的知识。通常来说，这种分类方法将一副图像视作一个高维的向量，然后利用统计方法分析物体在高维空间的分布。它对遮挡、姿态、光照、饰物等各种变化比较敏感。

事实上，要求寻找和使用具有明确物理意义的特征限制了那些对于性别分类有用

的但无法清晰描述的特征的可能性，近年来，统计学习方法逐渐成为模式识别领域的主流技术之一，在许多经典问题上，统计学习方法都有成功的应用，人脸的性别识别即为一例。

本文整体特征的提取主要利用AdaBoost算法。通过快速提取图像的类Harr基弱

人脸识别

特征，利用AdaBoost学习方法组合成强特征，从而实现人脸性别整体特征的快速检测。

2.1.1 类Harr基特征

Paul Viola等人在2001年首先将AdaBoost用于人脸检测[26]，他们将弱分类器

与弱特征等价起来，从而实现了通过AdaBoost算法寻找、选择并组合“对分类有用的”弱特征的目标。Viola采用的矩形特征来源于Papageorgiou等[27]提出的扩展二维Harr小波基的图像表征方法，因此，这些矩形特征也被称为“类Harr基特征”。Viola采用的矩形特征如图2-1所示，将黑色覆盖的图像区域像素灰度值总和与白色覆盖的图像区域像素灰度值总和求差即为所求的特征值。

图2-1 Paul Viola采用的矩形特征

Fig. 2-1 Rectangle Features used by Paul Viola

Viola的另一大贡献是引入“积分图像”的概念，使得这些矩形特征可以快速计

算：事先求出积分图像的所有值，其中坐标(x,y)处的值T(x,y)等于源图像(x,y)左上方所有像素之和，如图 2-2所示。则任意区域D中的像素和SD可以快速求得：

SD Tk Th Ti Tj （2-1）

图2-2 Paul Viola引入的“积分图像”