基于BP神经网络的手写数字识别研究

基于BP神经网络的手写数字识别研究

第25卷第4期

哈尔滨师范大学自然科学学报

NATURALSCIENCESJOURNALOFHARBINNORMALUNIVERSITY

Vol.25,No.42009

基于BP神经网络的手写数字识别研究

马　宁　　常　(3

【摘要】　将,通过实验证实,该方法具有较高

;模式识别;图像处理;特征提取

0　引言

手写数字识别是光学字符识别技术的一个分支,研究如何利用电子计算机自动辨认人手写在纸张上的阿拉伯数字.由于手写体数字的随意性很大,例如,字体的大小、倾斜、笔画的粗细等等,

[1-3]

都会对识别结果造成影响.在过去的数十年中,研究者们提出了许多识别方法,取得了较大的

[4]

成果.手写数字识别技术的实用性很强,例如在大规模数据统计(人口普查、例行年检)、财务、保险、税务、邮件分拣等应用领域中都有广阔的应

[5～8]

用前景.手写数字识别一般通过基于结构的识别法及模板匹配法来进行处理,但识别率和可靠性都不高.为了提高识别率,就必须寻求新的方法和途径.近年来,BP神经网络技术取得了巨大发展,它是一种前馈反向型神经网络,具有并行处理信息、自组织、自学习信息等优点,特别适用于

[9]

模式识别领域.本文基于BP神经网络原理对手写数字进行识别,通过对1000个手写数字的识别,证实本方法在手写数字识别方面的有效性.

和功能以及若干基本特性,是一个高度复杂的非线性自适应动态处理系统.BP(BackPropagation)网络是1986年由Rumelhart和McCelland为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一.BP网络能学习和存贮大量的输入-输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程.它的学习规则是使用最速下降法,通过反向传播来不断调整网络的权值和阈值,使网络的误差平方和最小.BP神经网络模型拓扑结构包括输入层(input)、隐层(hidelayer)和输出层(outputlayer),如图1所示.

2　基于BP神经网络的手写数字识

别

2.1　输入向量与目标向量

1　BP神经网络

神经网络的概念、原理和设计是受生物、特别

是人脑神经系统的启发提出的.神经网络由大量简单的处理单元来模拟真实人脑神经网络的机构

收稿日期:2009-07-07

首先对手写数字图像进行预处理,包括二值化、去噪、倾斜校正、归一化和特征提取,生成BP神经网络的输入向量Alphabet和目标向量Tar2get.其中Alphabet选取40×10的矩阵,第1列到第10列代表0～9的数字.Target为10×10的单位矩阵,每个数字在其所排顺序位置输出1,其他位置输出0.

2.2　BP神经网络的构建

BP算法由数据流的前向计算(正向传播)和

3黑龙江省教育厅海外学人科研资助项目(1151HQ019);黑龙江省教育厅科研项目资助(11511138);黑龙江省教育厅重点学科

(081203);黑龙江省智能教育与信息工程重点实验室基金资助

基于BP神经网络的手写数字识别研究

90

哈尔滨师范大学自然科学学报2009

年

整wjk使全局误差E变小,即

Δwjk

p

(

=-=-Ep)=∑5wjk5wjkp=1

(5)

p

∑wjkp=1

式(5)中η为学习率.现定义误差信号为

(-δyj=-

ppj

=-Sjyjj

q

(6)

(3)=jq

t

j=1p

p

j

-yj)]

(7)

p2

=-图1　k=1

∑

(tj-yj)

p

第二项为输出层传递函数f2(x)的偏微分

j’

=f2(Sj)Sj

将式(7)和(8)代入可得误差信号为

q

.正向传播时,传播方向为输入层→隐层→输出层,每层神经元的状态只影响下一层神经元.若在输出层得不到期望的输出,则转向误差信号的反向传播流程.通过这两个过程的交替进行,在权向量空间执行误差函数梯度下降策略,动态迭代搜索一组权向量,使网络误差函数达到最小值,从而完成信息提取和记忆过程.

首先考虑正向传播,设输入层有n个节点,隐层有p个节点,输出层有q个节点.输入层与隐层之间的权值为vki,隐层与输出层之间的权值为wjk.隐层的传递函数为f1(x),输出层的传递函数为f2(x),则隐层节点的输出为

n

(8)

δyj=

∑(t

j=1

p

p

j

-yj)f2(Sj)

p’

(9)

则输出层各神经元权值△wjk调整公式将式(9)代入可定义为

q

pj

Δwjk=

p=1

η(t∑∑

j=1

-yj)f2(Sj)zk

p’

(10)

在得到输出层权值调整公式后,需要定义隐层权值△vki调整公式Δvki

(

=-=-Ep)=∑5vki5vkip=1

p

pp=1

∑

(-p

5vki

(11)

zk=f1(

∑v

i=1p

ki

xi)　k=1,2,…,p(1)

根据输出层各神经元权值△wjk调整公式推导过程,可得△vki为

p

q

输出层节点的输出为

yf=f2(

k=0

∑

wjkzk)　j=1,2,…,q(2)

Δvki=

p=1

pp’’

η()()(Sk)xit-yfSwfjj2jjk1∑∑j=1

通过式(1)和(2)可得BP神经网络完成n维到q

维的映射.

其次考虑反向传播.在反向传播中,需要对不理想的权值进行调整,BP神经网络的核心要务即在于调权.定义误差函数,设输入P个学习样本,

12p

用x,x,…,x来表示.第p个样本输入网络得到

p

输出yj(j=1,2,…,q),其误差为

Ep=

p

(12)

2.3　网络的训练

神经网络的训练过程是识别字符的基础,十分重要,直接关系到识别率的高低.输送训练样本至BP神经网络训练,在梯度方向上反复调整权值使网络平方和误差最小.为使网络对输入向量有一定鲁棒性,可先用无噪声的样本对网络进行训练,直到其平方和误差最小,再用含噪声的样本进行训练,保证网络对噪声不敏感.训练完毕,把待识别数字送BP神经网络中进行仿真测试.

2

q

∑(t

j=1

pj

-yj)

p2

(3)

式中tj为期望输出.P个样本的全局误差为将式(3)代入得

ppq

pp2

(tj-yj)(4)E=∑Ep=∑∑2p=1p=1j=1

输出层权值的变化采用累计误差BP算法调

3　实验结果与分析

权值初始化为(-1,1)之间的随机数,期望

基于BP神经网络的手写数字识别研究

第4期基于BP神经网络的手写数字识别研究

91

表1　各数字识别率

误差为0.01,最大训练步数5000,动量因子为0.95,隐层和输出层均采用“logsig”函数,手写数字的识别结果如图2(a)～(e)所示,以数字4为例给出处理过程

.

数字识别率/%

093

194

293

393

494

592

693

792

894

994

4　结论

针对传统的手写数字识别中识别率和可靠性,提出了将,,P.

参　考　文　献

]　胡钟山,娄震,杨静宇.基于多分类器组合的手写体数字识

(a)读取的数字图像　(b)

二值化处理后的数字图像

别[J].计算机学报,1999(4).

[2]　张猛等.手写体数字识别中图像预处理的研究[J].微计算

机信息,2006(6).

(c)剪切等系列处理后的数字图像　(d)特征提取图像

[3]　姜珊.基于汉字原型的手写汉字识别[J].计算机研究与发

展,1996(8).

[4]　刘永红.神经网络理论的发展与前沿问题[J].信息与控

制,1999(1).

[5]　王磊,戚飞虎.多字体字符识别的模糊神经网络模型[J].

红外与毫米波学报,1999(5).

[6]　PandyaAS,MacyRB.神经网络模式识别及其实现[M].

徐勇,荆涛译.北京:电子工业出版社,1999.

(e)最终识别的数字

[7]　朱小燕等.手写体字符识别研究[J].模式识别与人工智

图2

能,2000(2).

[8]　马少平等.基于模糊方向线索特征的手写体汉字识别[J].

对1000个手写数字(每个数字取100幅不同的图

像)进行识别,其识别结果如表1所示.

清华大学学报,1997(3).

[9]　王爱玲,叶明生,邓秋香.图像处理技术与应用[M].北京:

电子工业出版社,2008.

RESEARCHOFHANDWRITTENDIGITALRECOGNITIONBASEDONBACKPROPAGATIONNEURALNETWORK

MaNing　ChangJi

(HarbinNormalUniversity)

ABSTRACT

Inthispaper,theBPneuralnetworkisusedinthehandwrittendigitalrecognition.Theexperimentalre2sultsprovethismethodhashighrecognitionrateandrecognitionreliability.

Keywords:BPneuralnetwork;Patternrecognition;Imageprocessing;Featureextraction

(责任编辑:李佳云)