计算机工程与设计
計算機工程與設計
계산궤공정여설계
COMPUTER ENGINEERING AND DESIGN
2012年
10期
4022-4027
,共6页
李钝%屠卫%石磊%陶永才
李鈍%屠衛%石磊%陶永纔
리둔%도위%석뢰%도영재
中文信息处理%中文新词识别%局部匹配预测算法%上下文感知%N元算法%语料库
中文信息處理%中文新詞識彆%跼部匹配預測算法%上下文感知%N元算法%語料庫
중문신식처리%중문신사식별%국부필배예측산법%상하문감지%N원산법%어료고
为提高中文信息处理中的新词识别效率,提出一种基于上下文感知的新词识别算法.首先基于网络新词的特点,对网络文本进行N元(N-Gram)切分预处理,然后利用局部匹配预测(PPM)算法对中文新词进行识别,最后采用LRU替换算法对识别出的新词进行入库处理.实验表明,较之当今几个主流的分词机制,该算法具有较高的识别率和召回率.
為提高中文信息處理中的新詞識彆效率,提齣一種基于上下文感知的新詞識彆算法.首先基于網絡新詞的特點,對網絡文本進行N元(N-Gram)切分預處理,然後利用跼部匹配預測(PPM)算法對中文新詞進行識彆,最後採用LRU替換算法對識彆齣的新詞進行入庫處理.實驗錶明,較之噹今幾箇主流的分詞機製,該算法具有較高的識彆率和召迴率.
위제고중문신식처리중적신사식별효솔,제출일충기우상하문감지적신사식별산법.수선기우망락신사적특점,대망락문본진행N원(N-Gram)절분예처리,연후이용국부필배예측(PPM)산법대중문신사진행식별,최후채용LRU체환산법대식별출적신사진행입고처리.실험표명,교지당금궤개주류적분사궤제,해산법구유교고적식별솔화소회솔.
