计算机工程与应用
計算機工程與應用
계산궤공정여응용
COMPUTER ENGINEERING AND APPLICATIONS
2005年
7期
67-68,100
,共3页
费洪晓%康松林%朱小娟%谢文彪
費洪曉%康鬆林%硃小娟%謝文彪
비홍효%강송림%주소연%사문표
中文分词%词频统计%互信息%N元统计模型%t-测试
中文分詞%詞頻統計%互信息%N元統計模型%t-測試
중문분사%사빈통계%호신식%N원통계모형%t-측시
论文介绍了一个基于词频统计的中文分词系统的设计和实现.通过这个系统,可以将输入的连续汉字串进行分词处理,输出分割后的汉语词串,一般是二字词串,并得到一个词典.词典中不重复地存储了每次处理中得到的词语,以及这些词语出现的频率.这个系统选用了三种统计原理分别进行统计:互信息,N元统计模型和t-测试.文中还对这三种原理的处理结果进行了比较,以分析各种统计原理的统计特点,以及各自所适合的应用场合.
論文介紹瞭一箇基于詞頻統計的中文分詞繫統的設計和實現.通過這箇繫統,可以將輸入的連續漢字串進行分詞處理,輸齣分割後的漢語詞串,一般是二字詞串,併得到一箇詞典.詞典中不重複地存儲瞭每次處理中得到的詞語,以及這些詞語齣現的頻率.這箇繫統選用瞭三種統計原理分彆進行統計:互信息,N元統計模型和t-測試.文中還對這三種原理的處理結果進行瞭比較,以分析各種統計原理的統計特點,以及各自所適閤的應用場閤.
논문개소료일개기우사빈통계적중문분사계통적설계화실현.통과저개계통,가이장수입적련속한자천진행분사처리,수출분할후적한어사천,일반시이자사천,병득도일개사전.사전중불중복지존저료매차처리중득도적사어,이급저사사어출현적빈솔.저개계통선용료삼충통계원리분별진행통계:호신식,N원통계모형화t-측시.문중환대저삼충원리적처리결과진행료비교,이분석각충통계원리적통계특점,이급각자소괄합적응용장합.
