中国电子商情·通信市场
中國電子商情·通信市場
중국전자상정·통신시장
TELECOM MARKET
2013年
6期
127-132
,共6页
Heritrix%语料聚焦爬虫%APHash算法%Tika
Heritrix%語料聚焦爬蟲%APHash算法%Tika
Heritrix%어료취초파충%APHash산법%Tika
目前,语料在各项研究中发挥着重要作用,现在的语料采集方法还不能满足需要.本文提出了一种新的语料采集方法,可以准确迅速的采集特定领域语料.通过修改Heritrix开源爬虫的组件,引入了APHash算法,解决爬虫队列平均分配问题,提高了采集效率,并通过加入URL判断条件,实现了特定领域语料的采集.对采集内容使用开用工具Tika进行解析,通过大规模采集,可以形成语料库,实现了特定语料的采集.
目前,語料在各項研究中髮揮著重要作用,現在的語料採集方法還不能滿足需要.本文提齣瞭一種新的語料採集方法,可以準確迅速的採集特定領域語料.通過脩改Heritrix開源爬蟲的組件,引入瞭APHash算法,解決爬蟲隊列平均分配問題,提高瞭採集效率,併通過加入URL判斷條件,實現瞭特定領域語料的採集.對採集內容使用開用工具Tika進行解析,通過大規模採集,可以形成語料庫,實現瞭特定語料的採集.
목전,어료재각항연구중발휘착중요작용,현재적어료채집방법환불능만족수요.본문제출료일충신적어료채집방법,가이준학신속적채집특정영역어료.통과수개Heritrix개원파충적조건,인입료APHash산법,해결파충대렬평균분배문제,제고료채집효솔,병통과가입URL판단조건,실현료특정영역어료적채집.대채집내용사용개용공구Tika진행해석,통과대규모채집,가이형성어료고,실현료특정어료적채집.
