河北省科学院学报
河北省科學院學報
하북성과학원학보
JOURNAL OF THE HEBEI ACADEMY OF SCIENCES
2014年
2期
35-40
,共6页
新词%PAT-Array%互信息%垃圾串过滤%内部模式
新詞%PAT-Array%互信息%垃圾串過濾%內部模式
신사%PAT-Array%호신식%랄급천과려%내부모식
随着互联网和社会的飞速发展,新词不断涌现.识别和整理这些新词语,是中文信息处理中的一个重要研究课题.提出一种新词识别方法,该方法利用基于PAT-Array的重复字符串抽取候选串,提高了新词的召回率.并在此基础上分析新词内部模式,添加了垃圾串过滤机制.单字串过滤主要是运用垃圾词典的方法,多字词模式新词的确定是利用改进的互信息与独立成词概率结合的方法.由此,大幅度提高了新词识别的准确率.
隨著互聯網和社會的飛速髮展,新詞不斷湧現.識彆和整理這些新詞語,是中文信息處理中的一箇重要研究課題.提齣一種新詞識彆方法,該方法利用基于PAT-Array的重複字符串抽取候選串,提高瞭新詞的召迴率.併在此基礎上分析新詞內部模式,添加瞭垃圾串過濾機製.單字串過濾主要是運用垃圾詞典的方法,多字詞模式新詞的確定是利用改進的互信息與獨立成詞概率結閤的方法.由此,大幅度提高瞭新詞識彆的準確率.
수착호련망화사회적비속발전,신사불단용현.식별화정리저사신사어,시중문신식처리중적일개중요연구과제.제출일충신사식별방법,해방법이용기우PAT-Array적중복자부천추취후선천,제고료신사적소회솔.병재차기출상분석신사내부모식,첨가료랄급천과려궤제.단자천과려주요시운용랄급사전적방법,다자사모식신사적학정시이용개진적호신식여독립성사개솔결합적방법.유차,대폭도제고료신사식별적준학솔.
