CAJ | 학술논문

提出了一种基于层叠隐马模型的汉语词法分析方法,旨在将汉语分词、词性标注、切分排歧和未登录词识别集成到一个完整的理论框架中.在分词方面,采取的是基于类的隐马模型,在这层隐马模型中,未登录词和词典中收录的普通词一样处理.未登录词识别引入了角色HMM:Viterbi算法标注出全局最优的角色序列,然后在角色序列的基础上,识别出未登录词,并计算出真实的可信度.在切分排歧方面,提出了一种基于N-最短路径的策略,即:在早期阶段召回N个最佳结果作为候选集,目的是覆盖尽可能多的歧义字段,最终的结果会在未登录词识别和词性标注之后,从N个最有潜力的候选结果中选优得到.不同层面的实验表明,层叠隐马模型的各个层面对汉语词法分析都发挥了积极的作用.实现了基于层叠隐马模型的汉语词法分析系统ICTCLAS,该系统在2002年的"九七三"专家组评测中获得第1名,在2003年汉语特别兴趣研究组(ACL Special Interest Group on Chinese Language Processing,SIGHAN)组织的第1届国际汉语分词大赛中综合得分获得两项第1名、一项第2名.这表明:ICTCLAS是目前最好的汉语词法分析系统之一,层叠隐马模型能够解决好汉语词法问题.
제출료일충기우층첩은마모형적한어사법분석방법,지재장한어분사、사성표주、절분배기화미등록사식별집성도일개완정적이론광가중.재분사방면,채취적시기우류적은마모형,재저층은마모형중,미등록사화사전중수록적보통사일양처리.미등록사식별인입료각색HMM:Viterbi산법표주출전국최우적각색서렬,연후재각색서렬적기출상,식별출미등록사,병계산출진실적가신도.재절분배기방면,제출료일충기우N-최단로경적책략,즉:재조기계단소회N개최가결과작위후선집,목적시복개진가능다적기의자단,최종적결과회재미등록사식별화사성표주지후,종N개최유잠력적후선결과중선우득도.불동층면적실험표명,층첩은마모형적각개층면대한어사법분석도발휘료적겁적작용.실현료기우층첩은마모형적한어사법분석계통ICTCLAS,해계통재2002년적"구칠삼"전가조평측중획득제1명,재2003년한어특별흥취연구조(ACL Special Interest Group on Chinese Language Processing,SIGHAN)조직적제1계국제한어분사대새중종합득분획득량항제1명、일항제2명.저표명:ICTCLAS시목전최호적한어사법분석계통지일,층첩은마모형능구해결호한어사법문제.