微型电脑应用
微型電腦應用
미형전뇌응용
MICROCOMPUTER APPLICATIONS
2014年
1期
58-60
,共3页
文本去重%段落主题%SimHash%相似度%MapReduce
文本去重%段落主題%SimHash%相似度%MapReduce
문본거중%단락주제%SimHash%상사도%MapReduce
Image Retrieval%Gaussian Pyramid%Color Histogram
SimHash算法是目前主流的文本去重算法,但它对于特定行业的文本数据在主题方面的天然相似性特点并没有特殊的考虑.基于多年在金融证券行业信息管理和数据整合的经验,本文分析目前文本去重方法存在的问题,特别针对SimHash算法在特定行业文本去重中的不足,创新地提出一种基于段落主题的文本去重方法(简称DRPKP算法),通过对去重准确率、覆盖率和去重时间3个指标进行对比测试,DRPKP算法比SimHash算法准确率可提高24.5％、覆盖率可提高16.34％,且去重时间更短.
SimHash算法是目前主流的文本去重算法,但它對于特定行業的文本數據在主題方麵的天然相似性特點併沒有特殊的攷慮.基于多年在金融證券行業信息管理和數據整閤的經驗,本文分析目前文本去重方法存在的問題,特彆針對SimHash算法在特定行業文本去重中的不足,創新地提齣一種基于段落主題的文本去重方法(簡稱DRPKP算法),通過對去重準確率、覆蓋率和去重時間3箇指標進行對比測試,DRPKP算法比SimHash算法準確率可提高24.5％、覆蓋率可提高16.34％,且去重時間更短.
SimHash산법시목전주류적문본거중산법,단타대우특정행업적문본수거재주제방면적천연상사성특점병몰유특수적고필.기우다년재금융증권행업신식관리화수거정합적경험,본문분석목전문본거중방법존재적문제,특별침대SimHash산법재특정행업문본거중중적불족,창신지제출일충기우단락주제적문본거중방법(간칭DRPKP산법),통과대거중준학솔、복개솔화거중시간3개지표진행대비측시,DRPKP산법비SimHash산법준학솔가제고24.5％、복개솔가제고16.34％,차거중시간경단.
