CAJ | 학술논문

汉语分词是搭建汉语到其他语言的统计机器翻译系统的一项重要工作.从单语语料中训练得到的传统分词模型并不一定完全适合机器翻译[1].该文提出了一种基于单语和双语知识的适应于统计机器翻译系统的分词方法.首先利用对齐可信度的概念从双语字对齐语料中抽取可信对齐集合,然后根据可信对齐集合对双语语料中的中文部分重新分词；接着将重新分词的结果和单语分词工具的分词结果相融合,得到新的分词结果,并将其作为训练语料,利用条件随机场模型训练出一个融合了单双语知识的分词工具.该文用该工具对机器翻译所需的训练集、开发集和测试集进行分词,并在基于短语的统计机器翻译系统上进行实验.实验结果表明,该文所提的方法提高了系统性能.
한어분사시탑건한어도기타어언적통계궤기번역계통적일항중요공작.종단어어료중훈련득도적전통분사모형병불일정완전괄합궤기번역[1].해문제출료일충기우단어화쌍어지식적괄응우통계궤기번역계통적분사방법.수선이용대제가신도적개념종쌍어자대제어료중추취가신대제집합,연후근거가신대제집합대쌍어어료중적중문부분중신분사；접착장중신분사적결과화단어분사공구적분사결과상융합,득도신적분사결과,병장기작위훈련어료,이용조건수궤장모형훈련출일개융합료단쌍어지식적분사공구.해문용해공구대궤기번역소수적훈련집、개발집화측시집진행분사,병재기우단어적통계궤기번역계통상진행실험.실험결과표명,해문소제적방법제고료계통성능.