哈尔滨理工大学学报
哈爾濱理工大學學報
합이빈리공대학학보
JOURNAL OF HARBIN UNIVERSITY OF SCIENCE AND TECHNOLOGY
2005年
1期
76-78
,共3页
文本分类%特征选取%文本表示
文本分類%特徵選取%文本錶示
문본분류%특정선취%문본표시
在对中文文本分类的特征选取方法进行综合评价的基础上,对目前比较流行的5种特征选取方法(文档频度DF、互信息MI、信息增益IG、χ2统计X2、术语强度TS)进行评价,选用NaYve Bayes作为文本分类器,对一个中文文本分类语料库进行分类评测.实验结果表明,DF和χ2的分类性能十分接近,处于较好水平;而TS分类性能稍差一些;IG和MI的分类性能与其他相比都有较大的差距.特别是在特征数目少的情况下,MI和IG的结果较差.在特征数目为1000时,MI的F1值为64.60%;IG为69.36%,而DF则达到87.01%.
在對中文文本分類的特徵選取方法進行綜閤評價的基礎上,對目前比較流行的5種特徵選取方法(文檔頻度DF、互信息MI、信息增益IG、χ2統計X2、術語彊度TS)進行評價,選用NaYve Bayes作為文本分類器,對一箇中文文本分類語料庫進行分類評測.實驗結果錶明,DF和χ2的分類性能十分接近,處于較好水平;而TS分類性能稍差一些;IG和MI的分類性能與其他相比都有較大的差距.特彆是在特徵數目少的情況下,MI和IG的結果較差.在特徵數目為1000時,MI的F1值為64.60%;IG為69.36%,而DF則達到87.01%.
재대중문문본분류적특정선취방법진행종합평개적기출상,대목전비교류행적5충특정선취방법(문당빈도DF、호신식MI、신식증익IG、χ2통계X2、술어강도TS)진행평개,선용NaYve Bayes작위문본분류기,대일개중문문본분류어료고진행분류평측.실험결과표명,DF화χ2적분류성능십분접근,처우교호수평;이TS분류성능초차일사;IG화MI적분류성능여기타상비도유교대적차거.특별시재특정수목소적정황하,MI화IG적결과교차.재특정수목위1000시,MI적F1치위64.60%;IG위69.36%,이DF칙체도87.01%.
