计算机工程与设计
計算機工程與設計
계산궤공정여설계
COMPUTER ENGINEERING AND DESIGN
2010年
23期
5158-5160,封3
,共4页
中文分词%哈希结构%尾字词典%逆向最大匹配算法%分词歧义%逆向回溯算法
中文分詞%哈希結構%尾字詞典%逆嚮最大匹配算法%分詞歧義%逆嚮迴溯算法
중문분사%합희결구%미자사전%역향최대필배산법%분사기의%역향회소산법
为了提高现有的中文分词效率,提出了基于Hash结构词典的逆向回溯中文分词方法.针时首字Hash结构词典的不足,设计了能够记录词长的Hash结构尾字词典,然后对逆向最大匹配分词算法进行了分析,为了解决其存在的中文分词歧义问题,设计出一种逆向回溯最大匹配算法,该改进算法采用的回溯机制能够有效消除分词中可能存在的一些歧义问题.实验结果表明,该方法实现了提高中文分词速度并减少交集型歧义字符串切分错误的设计目标.
為瞭提高現有的中文分詞效率,提齣瞭基于Hash結構詞典的逆嚮迴溯中文分詞方法.針時首字Hash結構詞典的不足,設計瞭能夠記錄詞長的Hash結構尾字詞典,然後對逆嚮最大匹配分詞算法進行瞭分析,為瞭解決其存在的中文分詞歧義問題,設計齣一種逆嚮迴溯最大匹配算法,該改進算法採用的迴溯機製能夠有效消除分詞中可能存在的一些歧義問題.實驗結果錶明,該方法實現瞭提高中文分詞速度併減少交集型歧義字符串切分錯誤的設計目標.
위료제고현유적중문분사효솔,제출료기우Hash결구사전적역향회소중문분사방법.침시수자Hash결구사전적불족,설계료능구기록사장적Hash결구미자사전,연후대역향최대필배분사산법진행료분석,위료해결기존재적중문분사기의문제,설계출일충역향회소최대필배산법,해개진산법채용적회소궤제능구유효소제분사중가능존재적일사기의문제.실험결과표명,해방법실현료제고중문분사속도병감소교집형기의자부천절분착오적설계목표.
