中文信息学报
中文信息學報
중문신식학보
JOURNAL OF CHINESE INFORMAITON PROCESSING
2014年
2期
61-65,90
,共6页
孙萌%华却才让%才智杰%姜文斌%吕雅娟%刘群
孫萌%華卻纔讓%纔智傑%薑文斌%呂雅娟%劉群
손맹%화각재양%재지걸%강문빈%려아연%류군
判别式%藏文分词%构词粒度%重排序
判彆式%藏文分詞%構詞粒度%重排序
판별식%장문분사%구사립도%중배서
discriminative model%Tibetan word segmentation%word-formation unit%reranking
本文提出一种基于判别式模型的藏文分词方法,重点研究最小构词粒度和分词结果重排序对藏文分词效果的影响.在构词粒度方面,分别考察了以基本字丁、基本字丁—音节点、音节为最小构词粒度对分词效果的影响,实验结果表明选定音节为最小构词粒度分词的F值最高,为91.21％;在分词结果重排序方面,提出一种基于词图的最短路径重排序策略,将判别式解码生成的切分结果压缩为加权有向图,图中节点表示音节间隔,而边所覆盖的音节作为候选切分并赋予不同权重,选择一条最短路径从而实现整句切分,最终分词结果的F值达到96.25％.
本文提齣一種基于判彆式模型的藏文分詞方法,重點研究最小構詞粒度和分詞結果重排序對藏文分詞效果的影響.在構詞粒度方麵,分彆攷察瞭以基本字丁、基本字丁—音節點、音節為最小構詞粒度對分詞效果的影響,實驗結果錶明選定音節為最小構詞粒度分詞的F值最高,為91.21％;在分詞結果重排序方麵,提齣一種基于詞圖的最短路徑重排序策略,將判彆式解碼生成的切分結果壓縮為加權有嚮圖,圖中節點錶示音節間隔,而邊所覆蓋的音節作為候選切分併賦予不同權重,選擇一條最短路徑從而實現整句切分,最終分詞結果的F值達到96.25％.
본문제출일충기우판별식모형적장문분사방법,중점연구최소구사립도화분사결과중배서대장문분사효과적영향.재구사립도방면,분별고찰료이기본자정、기본자정—음절점、음절위최소구사립도대분사효과적영향,실험결과표명선정음절위최소구사립도분사적F치최고,위91.21％;재분사결과중배서방면,제출일충기우사도적최단로경중배서책략,장판별식해마생성적절분결과압축위가권유향도,도중절점표시음절간격,이변소복개적음절작위후선절분병부여불동권중,선택일조최단로경종이실현정구절분,최종분사결과적F치체도96.25％.
