电子与信息学报
電子與信息學報
전자여신식학보
JOURNAL OF ELECTRONICS & INFORMATION TECHNOLOGY
2008年
12期
2906-2911
,共6页
吕国云%蒋冬梅%张艳宁%赵荣椿%H Sahli%Ilse Ravyse%W Verhelst
呂國雲%蔣鼕梅%張豔寧%趙榮椿%H Sahli%Ilse Ravyse%W Verhelst
려국운%장동매%장염저%조영춘%H Sahli%Ilse Ravyse%W Verhelst
语音识别%动态贝叶斯网络%音视频%多流异步
語音識彆%動態貝葉斯網絡%音視頻%多流異步
어음식별%동태패협사망락%음시빈%다류이보
语音和唇部运动的异步性是多模态融合语音识别的关键问题,该文首先引入一个多流异步动态贝叶斯网络(MS-ADBN)模型,在词的级别上描述了音频流和视频流的异步性,音视频流都采用了词-音素的层次结构.而多流多状态异步DBN(MM-ADBN)模型是MS-ADBN模型的扩展,音视频流都采用了词-音素-状态的层次结构.本质上,MS-ADBN是一个整词模型,而MM-ADBN模型是一个音素模型,适用于大词汇量连续语音识别.实验结果表明：基于连续音视频数据库,在纯净语音环境下,MM-ADBN比MS-ADBN模型和多流HMM识别率分别提高35.91%和9.97%.
語音和脣部運動的異步性是多模態融閤語音識彆的關鍵問題,該文首先引入一箇多流異步動態貝葉斯網絡(MS-ADBN)模型,在詞的級彆上描述瞭音頻流和視頻流的異步性,音視頻流都採用瞭詞-音素的層次結構.而多流多狀態異步DBN(MM-ADBN)模型是MS-ADBN模型的擴展,音視頻流都採用瞭詞-音素-狀態的層次結構.本質上,MS-ADBN是一箇整詞模型,而MM-ADBN模型是一箇音素模型,適用于大詞彙量連續語音識彆.實驗結果錶明：基于連續音視頻數據庫,在純淨語音環境下,MM-ADBN比MS-ADBN模型和多流HMM識彆率分彆提高35.91%和9.97%.
어음화진부운동적이보성시다모태융합어음식별적관건문제,해문수선인입일개다류이보동태패협사망락(MS-ADBN)모형,재사적급별상묘술료음빈류화시빈류적이보성,음시빈류도채용료사-음소적층차결구.이다류다상태이보DBN(MM-ADBN)모형시MS-ADBN모형적확전,음시빈류도채용료사-음소-상태적층차결구.본질상,MS-ADBN시일개정사모형,이MM-ADBN모형시일개음소모형,괄용우대사회량련속어음식별.실험결과표명：기우련속음시빈수거고,재순정어음배경하,MM-ADBN비MS-ADBN모형화다류HMM식별솔분별제고35.91%화9.97%.
