计算机工程与设计
計算機工程與設計
계산궤공정여설계
COMPUTER ENGINEERING AND DESIGN
2012年
1期
387-391
,共5页
分词%mmseg算法%互信息%词典%统计
分詞%mmseg算法%互信息%詞典%統計
분사%mmseg산법%호신식%사전%통계
为了解决传统的基于词典的分词法和基于统计的分词方法的效率和识别能力的不足,根据电子商务中商品名称信息这一特定领域的文本数据的特点进行分析,研究了mmseg分词法和基于互信息的处理方法,结合两类分词方法的优点,将mmseg分词算法和互信息的算法应用于分词处理过程中,设计并实现了一个快速、准确度高的分词模型,通过测试结果表明,该模型能够较好地解决分词的速度与效率问题.
為瞭解決傳統的基于詞典的分詞法和基于統計的分詞方法的效率和識彆能力的不足,根據電子商務中商品名稱信息這一特定領域的文本數據的特點進行分析,研究瞭mmseg分詞法和基于互信息的處理方法,結閤兩類分詞方法的優點,將mmseg分詞算法和互信息的算法應用于分詞處理過程中,設計併實現瞭一箇快速、準確度高的分詞模型,通過測試結果錶明,該模型能夠較好地解決分詞的速度與效率問題.
위료해결전통적기우사전적분사법화기우통계적분사방법적효솔화식별능력적불족,근거전자상무중상품명칭신식저일특정영역적문본수거적특점진행분석,연구료mmseg분사법화기우호신식적처리방법,결합량류분사방법적우점,장mmseg분사산법화호신식적산법응용우분사처리과정중,설계병실현료일개쾌속、준학도고적분사모형,통과측시결과표명,해모형능구교호지해결분사적속도여효솔문제.
