电脑知识与技术
電腦知識與技術
전뇌지식여기술
COMPUTER KNOWLEDGE AND TECHNOLOGY
2012年
3期
722-726
,共5页
中文全文索引%中文分词%Lucene
中文全文索引%中文分詞%Lucene
중문전문색인%중문분사%Lucene
中文分词是中文信息化处理的基础环节.在中文全文索引中,中文分词更起着举足轻重的作用.该文首先比较了常见的中文分词算法,最后选用了综合性能较优的分词算法—基于词频统计的匹配分词,引入全文索引的开源项目Lucene中.通过与传统的机械分词对比,发现使用基于词频统计的匹配分词的全文索引,不但大大节省索引空间,而且显著地提高了检索的质量.
中文分詞是中文信息化處理的基礎環節.在中文全文索引中,中文分詞更起著舉足輕重的作用.該文首先比較瞭常見的中文分詞算法,最後選用瞭綜閤性能較優的分詞算法—基于詞頻統計的匹配分詞,引入全文索引的開源項目Lucene中.通過與傳統的機械分詞對比,髮現使用基于詞頻統計的匹配分詞的全文索引,不但大大節省索引空間,而且顯著地提高瞭檢索的質量.
중문분사시중문신식화처리적기출배절.재중문전문색인중,중문분사경기착거족경중적작용.해문수선비교료상견적중문분사산법,최후선용료종합성능교우적분사산법—기우사빈통계적필배분사,인입전문색인적개원항목Lucene중.통과여전통적궤계분사대비,발현사용기우사빈통계적필배분사적전문색인,불단대대절성색인공간,이차현저지제고료검색적질량.
