计算机应用
計算機應用
계산궤응용
COMPUTER APPLICATION
2010年
8期
2034-2037
,共4页
中文分词%字词分类%多词典分词%条件随机场
中文分詞%字詞分類%多詞典分詞%條件隨機場
중문분사%자사분류%다사전분사%조건수궤장
中文分词是自然语言处理的基础性问题.条件随机场模型分词过程中出现的切分粒度过小和多字粘连造成的错分问题,是影响分词结果的两个主要原因.提出了一个基于字词分类的层次分词模型,该模型采用多部有效词典进行处理,在外层分词系统中解决切分粒度过小问题;在内层核心层,条件随机场分词后再处理多字粘连问题.实验结果表明,采用加入多词典的字词结合层次分类模型F-测度值有较大的提高,有助于得到好的分词结果.
中文分詞是自然語言處理的基礎性問題.條件隨機場模型分詞過程中齣現的切分粒度過小和多字粘連造成的錯分問題,是影響分詞結果的兩箇主要原因.提齣瞭一箇基于字詞分類的層次分詞模型,該模型採用多部有效詞典進行處理,在外層分詞繫統中解決切分粒度過小問題;在內層覈心層,條件隨機場分詞後再處理多字粘連問題.實驗結果錶明,採用加入多詞典的字詞結閤層次分類模型F-測度值有較大的提高,有助于得到好的分詞結果.
중문분사시자연어언처리적기출성문제.조건수궤장모형분사과정중출현적절분립도과소화다자점련조성적착분문제,시영향분사결과적량개주요원인.제출료일개기우자사분류적층차분사모형,해모형채용다부유효사전진행처리,재외층분사계통중해결절분립도과소문제;재내층핵심층,조건수궤장분사후재처리다자점련문제.실험결과표명,채용가입다사전적자사결합층차분류모형F-측도치유교대적제고,유조우득도호적분사결과.
