计算机研究与发展
計算機研究與髮展
계산궤연구여발전
JOURNAL OF COMPUTER RESEARCH AND DEVELOPMENT
2014年
9期
1936-1944
,共9页
黎亚雄%张坚强%潘登%胡惮
黎亞雄%張堅彊%潘登%鬍憚
려아웅%장견강%반등%호탄
语音识别%语言模型%神经网络%递归神经网络-受限玻尔兹曼机%关联信息
語音識彆%語言模型%神經網絡%遞歸神經網絡-受限玻爾玆曼機%關聯信息
어음식별%어언모형%신경망락%체귀신경망락-수한파이자만궤%관련신식
speech recognition%language model%neural network%recurrent neural network-restricted Boltzmann machine%relevance information
近年来深度学习兴起,其在语言模型领域有着不错的成效,如受限玻尔兹曼机(restricted Boltzmann machine,RBM)语言模型等.不同于N-gram语言模型,这些根植于神经网络的语言模型可以将词序列映射到连续空间来评估下一词出现的概率,以解决数据稀疏的问题.此外,也有学者使用递归神经网络来建构语言模型,期望由递归的方式充分利用所有上文信息来预测下一词,进而有效处理长距离语言约束.根据递归受限玻尔兹曼机神经网络(recurrent neural network-restricted Boltzmann machine,RNN-RBM)的基础来捕捉长距离信息;另外,也探讨了根据语言中语句的特性来动态地调整语言模型.实验结果显示,使用RNN-RBM语言模型对于大词汇连续语音识别的效能有相当程度的提升.
近年來深度學習興起,其在語言模型領域有著不錯的成效,如受限玻爾玆曼機(restricted Boltzmann machine,RBM)語言模型等.不同于N-gram語言模型,這些根植于神經網絡的語言模型可以將詞序列映射到連續空間來評估下一詞齣現的概率,以解決數據稀疏的問題.此外,也有學者使用遞歸神經網絡來建構語言模型,期望由遞歸的方式充分利用所有上文信息來預測下一詞,進而有效處理長距離語言約束.根據遞歸受限玻爾玆曼機神經網絡(recurrent neural network-restricted Boltzmann machine,RNN-RBM)的基礎來捕捉長距離信息;另外,也探討瞭根據語言中語句的特性來動態地調整語言模型.實驗結果顯示,使用RNN-RBM語言模型對于大詞彙連續語音識彆的效能有相噹程度的提升.
근년래심도학습흥기,기재어언모형영역유착불착적성효,여수한파이자만궤(restricted Boltzmann machine,RBM)어언모형등.불동우N-gram어언모형,저사근식우신경망락적어언모형가이장사서렬영사도련속공간래평고하일사출현적개솔,이해결수거희소적문제.차외,야유학자사용체귀신경망락래건구어언모형,기망유체귀적방식충분이용소유상문신식래예측하일사,진이유효처리장거리어언약속.근거체귀수한파이자만궤신경망락(recurrent neural network-restricted Boltzmann machine,RNN-RBM)적기출래포착장거리신식;령외,야탐토료근거어언중어구적특성래동태지조정어언모형.실험결과현시,사용RNN-RBM어언모형대우대사회련속어음식별적효능유상당정도적제승.
