智能计算机与应用
智能計算機與應用
지능계산궤여응용
Computer Study
2013年
3期
7-13
,共7页
BitTorrent%BT种子爬虫%去重机制%自动登录%AJAX解析
BitTorrent%BT種子爬蟲%去重機製%自動登錄%AJAX解析
BitTorrent%BT충자파충%거중궤제%자동등록%AJAX해석
分析了当前主题爬虫在面向BT种子文件获取应用上存在的问题,从提高BT种子获取速率、提高覆盖率和降低种子获取延时的角度出发,提出了基于Hash的去重机制,给出了爬虫自动登录的实现方法,设计了AJAX页面解析引擎,提出批量抓取和增量抓取相结合的数据抓取机制、历史数据和更新数据相结合的数据存储机制.通过设计并实现一个基于爬虫方式的BT种子文件获取系统证明了这几种方法能使系统整体性能平均提高30％～50％.这些技术和方法也可应用于其他主题爬虫.
分析瞭噹前主題爬蟲在麵嚮BT種子文件穫取應用上存在的問題,從提高BT種子穫取速率、提高覆蓋率和降低種子穫取延時的角度齣髮,提齣瞭基于Hash的去重機製,給齣瞭爬蟲自動登錄的實現方法,設計瞭AJAX頁麵解析引擎,提齣批量抓取和增量抓取相結閤的數據抓取機製、歷史數據和更新數據相結閤的數據存儲機製.通過設計併實現一箇基于爬蟲方式的BT種子文件穫取繫統證明瞭這幾種方法能使繫統整體性能平均提高30％～50％.這些技術和方法也可應用于其他主題爬蟲.
분석료당전주제파충재면향BT충자문건획취응용상존재적문제,종제고BT충자획취속솔、제고복개솔화강저충자획취연시적각도출발,제출료기우Hash적거중궤제,급출료파충자동등록적실현방법,설계료AJAX혈면해석인경,제출비량조취화증량조취상결합적수거조취궤제、역사수거화경신수거상결합적수거존저궤제.통과설계병실현일개기우파충방식적BT충자문건획취계통증명료저궤충방법능사계통정체성능평균제고30％～50％.저사기술화방법야가응용우기타주제파충.
