微计算机信息
微計算機信息
미계산궤신식
CONTROL & AUTOMATION
2008年
33期
76-77,106
,共3页
网络爬虫%限定带宽%礼貌爬行
網絡爬蟲%限定帶寬%禮貌爬行
망락파충%한정대관%례모파행
网络爬虫如何在限定带宽的条件下进行爬行是一个有巨大应用价值的问题,但是目前对这个方面的研究较少,本文提出了一种基于对站点礼貌爬行的爬虫带宽控制策略,通过对不同站点下载速度的建模分析和基于礼貌爬行的访问频率控制,得到了面向站点的爬行控制算法,最后实验证明这种方法能够充分利用所限定的带宽.
網絡爬蟲如何在限定帶寬的條件下進行爬行是一箇有巨大應用價值的問題,但是目前對這箇方麵的研究較少,本文提齣瞭一種基于對站點禮貌爬行的爬蟲帶寬控製策略,通過對不同站點下載速度的建模分析和基于禮貌爬行的訪問頻率控製,得到瞭麵嚮站點的爬行控製算法,最後實驗證明這種方法能夠充分利用所限定的帶寬.
망락파충여하재한정대관적조건하진행파행시일개유거대응용개치적문제,단시목전대저개방면적연구교소,본문제출료일충기우대참점례모파행적파충대관공제책략,통과대불동참점하재속도적건모분석화기우례모파행적방문빈솔공제,득도료면향참점적파행공제산법,최후실험증명저충방법능구충분이용소한정적대관.
