CAJ | 학술논문

近年来,为了提高统计机器翻译系统的准确性,普遍应用海量语料训练出大规模语言模型和翻译模型.而模型规模的不断增大,给统计机器翻译带来了突出的计算性能问题,使得现有的单机串行化翻译处理难以在较快的时间内完成计算,该问题在处理联机翻译时更为突出.为了克服单机机器翻译算法在这方面的局限性,提高大规模统计机器翻译处理的计算性能,面向一个实际的联机翻译系统,提出了一个分布式和并行化翻译解码算法框架,对整个大规模语言模型和翻译模型同时采用分布式存储和并行化查询机制,在此基础上进一步研究实现完整的翻译解码并行化算法.研究实现了一个基于分布式内存数据库的层次短语并行化机器翻译解码器,该解码器使用分布式内存数据库存储和查询大数据量的翻译模型表和语言模型表,克服了传统的机器翻译系统所面临的内存容量和并发度方面的限制.为了进一步提高并行解码速度,还研究实现了另外3项优化技术:1)将翻译模型表的同步规则和Trie树结构的语言模型表转化为基于内存数据库的“键-值”结构的Hash索引表的方法;2)对Cube-Pruning算法进行了修改使其适用于批量查询;3)采用并优化了批量查询方式减少语言和翻译模型查询时的网络传输开销.所提出的解码算法实现了基于大规模语料统计机器翻译时的快速解码,并具备优异的系统可扩展性.实验结果表明:与单机解码器相比,单句翻译速度可提高2.7倍,批量翻译作业的总体解码性能可提高至少11.7倍,实现了显著的计算性能提升.
근년래,위료제고통계궤기번역계통적준학성,보편응용해량어료훈련출대규모어언모형화번역모형.이모형규모적불단증대,급통계궤기번역대래료돌출적계산성능문제,사득현유적단궤천행화번역처리난이재교쾌적시간내완성계산,해문제재처리련궤번역시경위돌출.위료극복단궤궤기번역산법재저방면적국한성,제고대규모통계궤기번역처리적계산성능,면향일개실제적련궤번역계통,제출료일개분포식화병행화번역해마산법광가,대정개대규모어언모형화번역모형동시채용분포식존저화병행화사순궤제,재차기출상진일보연구실현완정적번역해마병행화산법.연구실현료일개기우분포식내존수거고적층차단어병행화궤기번역해마기,해해마기사용분포식내존수거고존저화사순대수거량적번역모형표화어언모형표,극복료전통적궤기번역계통소면림적내존용량화병발도방면적한제.위료진일보제고병행해마속도,환연구실현료령외3항우화기술:1)장번역모형표적동보규칙화Trie수결구적어언모형표전화위기우내존수거고적“건-치”결구적Hash색인표적방법;2)대Cube-Pruning산법진행료수개사기괄용우비량사순;3)채용병우화료비량사순방식감소어언화번역모형사순시적망락전수개소.소제출적해마산법실현료기우대규모어료통계궤기번역시적쾌속해마,병구비우이적계통가확전성.실험결과표명:여단궤해마기상비,단구번역속도가제고2.7배,비량번역작업적총체해마성능가제고지소11.7배,실현료현저적계산성능제승.