中国科学E辑
中國科學E輯
중국과학E집
SCIENCE IN CHINA (SERIES E)
2000年
3期
283-288
,共6页
听觉视觉双模态语音识别%双模态语音感知%感知实验%视听信息互补作用
聽覺視覺雙模態語音識彆%雙模態語音感知%感知實驗%視聽信息互補作用
은각시각쌍모태어음식별%쌍모태어음감지%감지실험%시은신식호보작용
从汉语听觉视觉双模态数据库CAVSR1.0中选出10个人的视听数据,每人发14个音节/ba,bi,bian,biao,bin,de,di,dian,duo,dong,gai,gan,gen,gu/. 感知实验的样本分单语音信号、语音信号+视觉信号、单视觉信号3类. 单语音信号、语音信号+视觉信号分别包括5种声学条件:无噪语音信号,信噪比S/N为0,-8,-12,-16 dB的语音信号. 由20名观察者进行感知识别. 通过对实验结果分析,发现人类对单视觉信号有较强的识别能力；声母的发音方法、发音部位和韵母造成了视觉上的不同差异；在噪声环境下,视觉信息对听觉信息有非常明显的补偿作用,可以使正确识别率大幅度提高.
從漢語聽覺視覺雙模態數據庫CAVSR1.0中選齣10箇人的視聽數據,每人髮14箇音節/ba,bi,bian,biao,bin,de,di,dian,duo,dong,gai,gan,gen,gu/. 感知實驗的樣本分單語音信號、語音信號+視覺信號、單視覺信號3類. 單語音信號、語音信號+視覺信號分彆包括5種聲學條件:無譟語音信號,信譟比S/N為0,-8,-12,-16 dB的語音信號. 由20名觀察者進行感知識彆. 通過對實驗結果分析,髮現人類對單視覺信號有較彊的識彆能力；聲母的髮音方法、髮音部位和韻母造成瞭視覺上的不同差異；在譟聲環境下,視覺信息對聽覺信息有非常明顯的補償作用,可以使正確識彆率大幅度提高.
종한어은각시각쌍모태수거고CAVSR1.0중선출10개인적시은수거,매인발14개음절/ba,bi,bian,biao,bin,de,di,dian,duo,dong,gai,gan,gen,gu/. 감지실험적양본분단어음신호、어음신호+시각신호、단시각신호3류. 단어음신호、어음신호+시각신호분별포괄5충성학조건:무조어음신호,신조비S/N위0,-8,-12,-16 dB적어음신호. 유20명관찰자진행감지식별. 통과대실험결과분석,발현인류대단시각신호유교강적식별능력；성모적발음방법、발음부위화운모조성료시각상적불동차이；재조성배경하,시각신식대은각신식유비상명현적보상작용,가이사정학식별솔대폭도제고.
