基于语音识别的远程机器人控制系统

利用Nuance和jTTS语音合成技术,将用户通过电话输入的特定语音转换成机器人指令,通过网络实时传输到远程机器人端,机器人控制端接收到命令,通过对命令的判断,做出相应的动作,从而实现对机器人的远程控制,该系统还可以通过网络视频软件将机器人现场视频画面实时采集、传输和在本地播放.

维普资讯

第2 2卷第 2期Vo . 2 NO I 2 .2

湖北工业大学学

报

20 0 7年 O月 4A p . 07 r 20

Jo r alo u n f Hub iUnie st c e v r iy ofTe hnoo y lg

[章编号]1 0—4 8 (0 70—0 50文 0 3 64 2 0 )20 4—3

基于语音识别的远程机器人控制系统张田芳，刘幺和，谭保华( 1湖北工业大学机械 _程学院，湖北武汉 4 0 6; Y - 3 0 8 2湖北工业大学理学院，湖北武汉 4 0 6 ) 3 0 8

[摘要]利用 Nun e j S语音合成技术，用户通过电话输入的特定语音转换成机器人指令，过网络 a c和 TT将通实时传输到远程机器人端，器人控制端接收到命令，过对命令的判断，出相应的动作，而实现对机器机通做从人的远程控制，系统还可以通过网络视频软件将机器人现场视频画面实时采集、输和在本地播放 .该传 [键词]语音识别；器人；远程控制关机[图分类号]T 3 1中 P 1[献标识码] A文：

随着现代科技和计算机技术的不断发展，们人在与机器的信息交流中，要一种更加方便、需自然的

地语音转换端通过话筒发出自己的语音命令，语音命令将转换为机器运动指令 . 2语音识别模块即将用户的语音命令识别为 )

交互方式，而从机器人的发展和应用以及国内外对语音识别技术的研究现状来看，把语音识别技术与机器人控制技术相结合，成为目前研究的热点，正特别是对工业机器人的人机交互问题的研究，但具不有理论意义，而且有较大的实用价值 .

相应的机器人指令 .模块借助 Nu n e和捷通华此 ac声语音合成技术实现. 3语音识别程序它主要用来接收语音识别的 )结果，做出相应的转换， We并由 b服务器通过网络发送到远程控制端，以控制机器人完成相应的动作 .2 2语音识别的实现 .

1系统构成 本系统可以分为本地语音转换端和远程机器人

语音识别系统主要采用 Viu l++ 6 0编写 sa C .的 MF C程序，的

工作过程是：先在语音识别系它首统的P C控制机中安装 Di o i a gc电话语音信息采集 l卡，接着在识别软件 Nu n e的工作平台上进行语 ac音识别，别时先要启动 4个批处理文件，识只有在它们工作的状态下，别程序才可以开始工作 .具体识其产

控制端 .地语音转换端将用户的语音信号转换成本机器人控制指令通过网络传输给远程机器人控制端 ( 1 .图 )令

识别流程如图 2所示.选择要进行识别的语音设置所有可能的语音组合设置语音识别环境

发

令

用户

图 1控制系统原理

编译形成字典I l编译形成语音语法¨选择要进行识别的语音语音识别应用程序

2语音识别模块2 1本地语音控制端 .

图 2语音识别过程流程图

2 3隐马尔可夫模型 .

1用户即远程操作机器人的操作者.在本 )其

用 HMM构成的语音识别系统或说话人的识

[稿日期]20— 1—2收 06 1 8[金项目]湖北省教育厅重大科研项目基金 (0 3 0 2,北省自然科学基金 (0 3 A0 4,北省科技厅攻关项目基 20Z 0)湖 2 0 AB 5 )湖基金 (0 3 2 0 AA1 1 6 . 0 CO )

[者简介]张田芳 ( 9 1 )女，陕西白水人，北工业大学硕士研究生，究方向：算机应用 .作 18一，湖研计

利用Nuance和jTTS语音合成技术,将用户通过电话输入的特定语音转换成机器人指令,通过网络实时传输到远程机器人端,机器人控制端接收到命令,通过对命令的判断,做出相应的动作,从而实现对机器人的远程控制,该系统还可以通过网络视频软件将机器人现场视频画面实时采集、传输和在本地播放.

维普资讯

4 6

湖北工业大学学报

20 0 7年第 2期

别系统 . 概率 P( Ol )的计算：假若观察序列 0— 0,

4远程机器人控制端4 1远程机器人控制端 .

02O,, 依一定的概率对应于状态序列 Q—, 3… 0, q,。 q,,,么其条件概率 q,。… q那丁

P Ol,一 I (f q一 ( Q ) I O l ) P ,t 1一

远程机器人控制端主要包括部分：1远程机器人，文中采用一种四自由度工业 )本( 1)

b ( ) ( ) b Or . 01 6, 02… ( ).

机器人；

式中：假定了在上述条件下各观察状态是相互独立的.型所描述的随机过程出现状态列 Q的概率模P Q I )一 7。 a。

aT ( ra … q_

2远程机器人控制计算机， )运行本地控制程序， 完成远程控制命令的接收和执行以及视频的实时采集、码和发送；编

.

( 2)

在模型条件下 0和 Q同时发生的联合概率P( Q l )一 P( Q l ) Q l ) ( ) 0, 0, P( . 3

3机器人主控系统，收远程发送过来的命令， )接经过本地应用程序的处理，如果是正确的命令，器机人就执行相应的运动，将运动的结果通过网络视并频软件传送给用户，便用户及时了解机器人的情以况.

注意到对于 N状态的模型，出现长为 T的状态序列应该有 N× T种可能性，想求给定模型出现要观察列 0的总概率，应该对 N×T种可能性求和，即

P Of)∑ P 0l, . ( ) (一 ( Q P Ql一 )V 0

机器人采用 GT系列运动控制器，以同步控可

丌。 ( ) b 01口ql q 3… q 2q r

b ( ) a T- 1qrbq 0T) 02… q- ( . ( 4)

制 4个运动轴，现多轴协调运动.动控制器提供实运 C语言函数库和 Wid ws动态链接库，现复杂的 no实控制功能 .户能够将这些控制函数与自己控制系用统所需的数据处理、界面显示、用户接口等应用程序

这样直接计算概率的计算量十分巨大，然不显实用 . Nu n e件系统中，别模块已经对这种在 ac软识算法进行了修正.外，外界噪音的干扰软硬件已另对采取了一些补偿的措施，详细情况见参考文献] .

模块集成在一起，造符合特定应用要求的控制系建统，以适应各种应用领域的要求 .4 2机器人控制程序的实现 .工业机器人控制系统，要采用 C#. e编写主 Nt

3语音反馈 T S模块 T笔者采用 j S语音合成技术来完成语音反馈 TT模块 .T j TS是基于大规模真实录音的语音库，合在成过程中，根据一系列的匹配规则从大规模语音库中寻找最合适的不定长匹配单元进行拼接，达到以

的 wi om程序 .的工作原理是， nF r它首先打开工业机器人的控制机箱和控制工业机器人的 P C机

,也就是给工业机器人通电，后运行控制程序 ( 4 .然图 )开始— T一初始化NY

停止,,、

前进‘、

Y

使合成语音自然、畅的目的.户事先建立好交互流用文件，然后进行语音指令的输入，音输入引擎根据语J S从交互文件中进行匹配， TT匹配后输出机器人控制指令，过网络控制远程的机器人.通用户控制程序结果输出

<坚=二：———

—. tY

后退,

- r . L西

接收运动指令

‘、

左转‘、

右转

Y

交互文件

错误 I进入运动控制模块 I图 4工业机器人操作流程图

圈 3基于 i TTS的反馈工作流程

在应用程序中调用 D I L函数库，后再运用该然

图 3中交互文件在整个系统中起着非常重要的作用，它是联系语音识别模块和用户应用程序的桥梁.

名字空间中的函数 D l o t人运动控制器的 l mp r导 l D I L函数库， Dl mp r(即 l ot GT4 0 d1,着再一 l 0. l接 )一声明库函数中要用到的具体的函数，:如￣ l ot” Dlmp r(GT4 0 dl) I 0.l]”p i a e s a i xt r h r rv t t tc e e n s o t GT_

:= - Opn )/打开运动控制器设备 e (;/

同样，可以用这种方式调用操作系统的 D L也 L

利用Nuance和jTTS语音合成技术,将用户通过电话输入的特定语音转换成机器人指令,通过网络实时传输到远程机器人端,机器人控制端接收到命令,通过对命令的判断,做出相应的动作,从而实现对机器人的远程控制,该系统还可以通过网络视频软件将机器人现场视频画面实时采集、传输和在本地播放.

维普资讯

第 2 2卷第 2期

张田芳等

基于语音识别的远程机器人控制系统

4 7

函数库，:如[ lmp r(k r e 2 dl) Dl o t” en l, l] I 3”p i a e s a i xt r oi l e ( o g ms rv t t tc e e n v d S e p 1 n );

[参考文献

]

Ei赵 l

鹏，梅萼，戴付良.程机器人监控系统关键技远

5结语 笔者利用 Nu n e中文语音识别引擎进行二次 ac开发，写适合机器人的语音识别程序，结合编并

术的研究和实现 I]小型微型计算机系统，0 0 2 - . J 20,1( ) 1 2 1 1 2 3 2: 6— 6 . a e Co a n e S se W t g r E] Nu nc m p ny。Nua c y

t m hie Pa e (Ve . z

70 4 I . s 1: a c o a y 20 ( ) 6— . . ) M] I.. Nu neC mpn,0 0 9:4 -]6. 7

We b技术实现了机器人的语音远程控制 .验证实明，在语音控制方面，机器人经过训练对语音识别的准确率可达 9以上；远程控制方面，用 We 5在利 b技术可以很好地把机器人听觉通过网络加以延伸，

2[] ItlC mp n Dilgc l 1 CT— CIVoc o r 3 ne o a y. ao ia/ J LS P ie B a d

Ma ulM] I..:ne D a gcC roain 2 0: n a[ . s 1 Itl il i op rt,0 1] o o9 6— 9 . 8

[]杨 4

磊，何克忠.虚拟现实技术在机器人技术中的应用杰，崔泽， . n en t型与网络遥操等 I tr e模

使控制者离开机器人嘈杂的操作环境，大提高语大音识别率 .用 We,然在一定程度上增加了计使 b虽算机控制系统的复杂性，它使系统实现了位置上但的分布性，更灵活，于扩展和维护.并易

与展望 I]机器人，9 8 2 ( ) 7— 8 . -. J 1 9,0 1:8 0 赵[]赵明国， 5

作系统仿真环境的建立 I]高技术通讯，0 2 7: 3 - . J 2 0 ( ) 6—

6 7.

Re o e Ro o nt o y t m s d o p e h Re o nii n m t b t Co r lS s e Ba e n S e c c g toZH A N G in f n, LI a—,T A N o h T a—a g U Y o he Ba— ua

( c o lo M eh n c lEn i .,Hu e i .o c n lg 1 S h o f c a ia g n b iUn v f Te h oo y,Wu a 3 0 8,C i a; h n4 0 6 hn 2S h o f S in e,Hu e i .o c n lg Wu n 4 0 6 C i a c o l ce c o b iUn v f Te h oo y, Ha 3 0 8, h n )A b ta t sr c:T h s p pe n r du e i a r i t o c s one i r m o e r ot on r y t m b s d o he s e c r c g to k nd e t ob c t o

ls s e a e n t p e h e o nii n

.

The s e ii r nun ito n t hr gh t e e ho a r ns o m e n o t ob ns r c i n by u— p cfc p o ca i n i pu s t ou het l p nec n bet a f r d i t he r oti t u to s n ua c n p e h s n he i e h ig N n e a d s e c y t ss t c nol y,t n t a m it d t he r m ot o t e d r a— i e t r u og he r ns te o t e e r bo n e ltm h o gh

t en t r n h o o o to emia in r c ie h r e h o g o t eo d rj d me ta d ma e h ewo k a d t er b tc n r l r n to e ev st eo d rt r u h t h r e u g n n k s tt e c r e po i g m o e e . T hu h o r s nd n v m nt s,t ob o it nc o r lc n b e lz d T h s s s e a l o he r otl ng d s a e c nt o a e r a ie i y t m c n a s.

r a ie r ots e e v d o f e ue y p c ur e ltm ega he i g,t a m i so n o a o dc s i g t o h e lz ob c n i e r q nc it e r a—i t rn r ns s i n a d l c lbr a a tn hr ug n t o k v de r qu nc ofw a e e w r i o fe e y s t r . Ke wo ds s e h r c g to y r: pe c e o nii n; r o; r m ot o r l ob t e e c nt o

[任编辑：责张

众]