计算机应用与软件
計算機應用與軟件
계산궤응용여연건
COMPUTER APPLICATIONS AND SOFTWARE
2011年
3期
195-197
,共3页
王瑞雷%栾静%潘晓花%卢修配
王瑞雷%欒靜%潘曉花%盧脩配
왕서뢰%란정%반효화%로수배
中文分词%分词词典%正向最大匹配算法
中文分詞%分詞詞典%正嚮最大匹配算法
중문분사%분사사전%정향최대필배산법
正向最大匹配分词FMM(Forward Maximum Matching)算法存在设定的最大词长初始值固定不变的问题,带来长词丢失或匹配次数较多的弊端.针对此问题提出了根据中文分词词典中的词条长度动态确定截取待处理文本长度的思想,改进了FMM算法.与此相配合,设计了一种词典结构,使之能够有效地支持改进的算法.改进的算法与一般正向最大匹配算法相比大大减少了匹配次数,分析表明中文分词的速度和效率有了很大提高.
正嚮最大匹配分詞FMM(Forward Maximum Matching)算法存在設定的最大詞長初始值固定不變的問題,帶來長詞丟失或匹配次數較多的弊耑.針對此問題提齣瞭根據中文分詞詞典中的詞條長度動態確定截取待處理文本長度的思想,改進瞭FMM算法.與此相配閤,設計瞭一種詞典結構,使之能夠有效地支持改進的算法.改進的算法與一般正嚮最大匹配算法相比大大減少瞭匹配次數,分析錶明中文分詞的速度和效率有瞭很大提高.
정향최대필배분사FMM(Forward Maximum Matching)산법존재설정적최대사장초시치고정불변적문제,대래장사주실혹필배차수교다적폐단.침대차문제제출료근거중문분사사전중적사조장도동태학정절취대처리문본장도적사상,개진료FMM산법.여차상배합,설계료일충사전결구,사지능구유효지지지개진적산법.개진적산법여일반정향최대필배산법상비대대감소료필배차수,분석표명중문분사적속도화효솔유료흔대제고.
