计算机工程与应用
計算機工程與應用
계산궤공정여응용
COMPUTER ENGINEERING AND APPLICATIONS
2009年
22期
123-125
,共3页
中文分词%有向图%中文分词有向图%切分路径%互信息
中文分詞%有嚮圖%中文分詞有嚮圖%切分路徑%互信息
중문분사%유향도%중문분사유향도%절분로경%호신식
Chinese segmentation%directed graph%Chinese segmentation directed graph%segmentation path%mutual information
首先说明了分词在中文信息处理中的作用,然后介绍了分词系统中的关键技术.提出了一种基于有向图的中文分词算法,该算法首先构造中文分词有向图,然后计算中文分词有向图中所有可能的切分路径,最后利用了最少分词原则、汉字之间的互信息和词语的频率等信息给中文分词有向图中的每条切分路径打分,分数最高的路径就对应正确的切分结果.开放测试结果表明分词精确率可达90%以上.
首先說明瞭分詞在中文信息處理中的作用,然後介紹瞭分詞繫統中的關鍵技術.提齣瞭一種基于有嚮圖的中文分詞算法,該算法首先構造中文分詞有嚮圖,然後計算中文分詞有嚮圖中所有可能的切分路徑,最後利用瞭最少分詞原則、漢字之間的互信息和詞語的頻率等信息給中文分詞有嚮圖中的每條切分路徑打分,分數最高的路徑就對應正確的切分結果.開放測試結果錶明分詞精確率可達90%以上.
수선설명료분사재중문신식처리중적작용,연후개소료분사계통중적관건기술.제출료일충기우유향도적중문분사산법,해산법수선구조중문분사유향도,연후계산중문분사유향도중소유가능적절분로경,최후이용료최소분사원칙、한자지간적호신식화사어적빈솔등신식급중문분사유향도중적매조절분로경타분,분수최고적로경취대응정학적절분결과.개방측시결과표명분사정학솔가체90%이상.
Chinese word segmentation is the first step for any Chinese information processing and hinders seriously its development.This paper introduces the critical technologies in the segmentation systems.h proposes a refinement of the segmentation algorithm based on the directed graph,this algorithm first constructs the Chinese segmentation directed graph,and calculates the weight of every segmentation path,last evaluates every segmentation path based on the principle of least segmentation,the mutual info of characters and the frequency of words,the highest scores on the path corresponding the correct segmentation results.Open-Test results show that the accuracy rate is more than 90%.
