计算机技术与发展
計算機技術與髮展
계산궤기술여발전
COMPUTER TECHNOLOGY AND DEVELOPMENT
2008年
3期
24-27
,共4页
中文分词%专有名词%词典机制
中文分詞%專有名詞%詞典機製
중문분사%전유명사%사전궤제
中文分词是中文信息处理系统中的一个重要部分.主题信息检索系统对分词的速度和准确率有特殊的要求.文中回答了词库建立的词条来源和存储结构两大问题,提出了一种基于专有名词优先的快速中文分词方法:利用首字哈希、按字数分层存储、二分查找的机制,通过优先切分专有名词,将句子切分成碎片,再对碎片进行正反两次机械切分,最后通过快速有效的评价函数选出最佳结果并作调整.实验证明,该分词方法对主题信息文献的分词速度达92万字每秒,准确率为96%,表明该分词方法在主题信息文献的分词处理中具有较高性能.
中文分詞是中文信息處理繫統中的一箇重要部分.主題信息檢索繫統對分詞的速度和準確率有特殊的要求.文中迴答瞭詞庫建立的詞條來源和存儲結構兩大問題,提齣瞭一種基于專有名詞優先的快速中文分詞方法:利用首字哈希、按字數分層存儲、二分查找的機製,通過優先切分專有名詞,將句子切分成碎片,再對碎片進行正反兩次機械切分,最後通過快速有效的評價函數選齣最佳結果併作調整.實驗證明,該分詞方法對主題信息文獻的分詞速度達92萬字每秒,準確率為96%,錶明該分詞方法在主題信息文獻的分詞處理中具有較高性能.
중문분사시중문신식처리계통중적일개중요부분.주제신식검색계통대분사적속도화준학솔유특수적요구.문중회답료사고건립적사조래원화존저결구량대문제,제출료일충기우전유명사우선적쾌속중문분사방법:이용수자합희、안자수분층존저、이분사조적궤제,통과우선절분전유명사,장구자절분성쇄편,재대쇄편진행정반량차궤계절분,최후통과쾌속유효적평개함수선출최가결과병작조정.실험증명,해분사방법대주제신식문헌적분사속도체92만자매초,준학솔위96%,표명해분사방법재주제신식문헌적분사처리중구유교고성능.
