计算机工程与应用
計算機工程與應用
계산궤공정여응용
COMPUTER ENGINEERING AND APPLICATIONS
2014年
15期
120-124
,共5页
柯尔克孜语%自动分词词典%隐马尔可夫模型(HMM)%词性标注
柯爾剋孜語%自動分詞詞典%隱馬爾可伕模型(HMM)%詞性標註
가이극자어%자동분사사전%은마이가부모형(HMM)%사성표주
Kirghiz%automatic words segmentation dictionary%Hidden Markov Model(HMM)%part-of-speech tagging
柯尔克孜语的语言信息处理研究，对新疆柯尔克孜族是否能跨入信息时代，传承民族文化起着至关重要的作用。采用两级标注法，基于传统的HMM理论，改进了HMM模型参数的计算、数据平滑和未登入词的处理方法，更好地体现了上下文依赖关系。同时，把基于自动分词词典的词干提取算法与规则和统计相结合的方法用于柯尔克孜语的词性标注系统上。相对于传统的HMM，改进后的方法有效提高了准确性。
柯爾剋孜語的語言信息處理研究，對新疆柯爾剋孜族是否能跨入信息時代，傳承民族文化起著至關重要的作用。採用兩級標註法，基于傳統的HMM理論，改進瞭HMM模型參數的計算、數據平滑和未登入詞的處理方法，更好地體現瞭上下文依賴關繫。同時，把基于自動分詞詞典的詞榦提取算法與規則和統計相結閤的方法用于柯爾剋孜語的詞性標註繫統上。相對于傳統的HMM，改進後的方法有效提高瞭準確性。
가이극자어적어언신식처리연구，대신강가이극자족시부능과입신식시대，전승민족문화기착지관중요적작용。채용량급표주법，기우전통적HMM이론，개진료HMM모형삼수적계산、수거평활화미등입사적처리방법，경호지체현료상하문의뢰관계。동시，파기우자동분사사전적사간제취산법여규칙화통계상결합적방법용우가이극자어적사성표주계통상。상대우전통적HMM，개진후적방법유효제고료준학성。
Research on the Kirghiz information processing plays an important role to whether Xinjiang Kirghiz can enter the information age, and inherit the national culture. Based on the traditional HMM theory, this paper uses the two stage dimension method and improves the HMM parameters calculation, data-smoothing and unknown words, so it can reflect the context dependence better. Meanwhile, stem extraction algorithm, which is based on automatic words segmentation dictionary, with rules and statistics method is used for the using of Kirghiz part-of-speech tagging system. Compared to traditional HMM, the improved method is effective to enhance accuracy.
