西藏科技
西藏科技
서장과기
TIBET'S SCIENCE & TECHNOLOGY
2014年
3期
77-78
,共2页
仁青诺布%苏亚超%孙亚东
仁青諾佈%囌亞超%孫亞東
인청낙포%소아초%손아동
最大熵模型%藏文文本%不良文本识别%特征选取
最大熵模型%藏文文本%不良文本識彆%特徵選取
최대적모형%장문문본%불량문본식별%특정선취
随着互联网不断发展,境外反动势力利用网络传播不良信息呈愈演愈烈之势,尤其在藏文信息方面。利用最大熵模型,可对网络藏文文本进行分类,识别不良藏文文本及正常藏文文本。用互信息进行特征提取,建立藏文不良文本库用以训练最大熵模型,利用 Opennlp 最大熵工具包实现功能,利用最大熵模型求出文档属于不良文本和合法文本的概率,通过分析准确率、召回率对识别结果进行分析。通过实验实现了最大熵算法进行藏文文本分类功能,用最大熵算法进行藏文不良文本识别效果比较明显。
隨著互聯網不斷髮展,境外反動勢力利用網絡傳播不良信息呈愈縯愈烈之勢,尤其在藏文信息方麵。利用最大熵模型,可對網絡藏文文本進行分類,識彆不良藏文文本及正常藏文文本。用互信息進行特徵提取,建立藏文不良文本庫用以訓練最大熵模型,利用 Opennlp 最大熵工具包實現功能,利用最大熵模型求齣文檔屬于不良文本和閤法文本的概率,通過分析準確率、召迴率對識彆結果進行分析。通過實驗實現瞭最大熵算法進行藏文文本分類功能,用最大熵算法進行藏文不良文本識彆效果比較明顯。
수착호련망불단발전,경외반동세력이용망락전파불량신식정유연유렬지세,우기재장문신식방면。이용최대적모형,가대망락장문문본진행분류,식별불량장문문본급정상장문문본。용호신식진행특정제취,건립장문불량문본고용이훈련최대적모형,이용 Opennlp 최대적공구포실현공능,이용최대적모형구출문당속우불량문본화합법문본적개솔,통과분석준학솔、소회솔대식별결과진행분석。통과실험실현료최대적산법진행장문문본분류공능,용최대적산법진행장문불량문본식별효과비교명현。