电脑开发与应用
電腦開髮與應用
전뇌개발여응용
COMPUTER DEVELOPMENT & APPLICATIONS
2012年
6期
65-67,70
,共4页
搜索引擎%网络爬虫%多线程%URL队列%宽度优先
搜索引擎%網絡爬蟲%多線程%URL隊列%寬度優先
수색인경%망락파충%다선정%URL대렬%관도우선
针对互联网信息急剧增多,为了改善网络爬虫的爬行性能和提高爬虫程序的通用性,分析了网络爬虫的原理与架构,设计实现了一种高速多线程网络爬虫程序.该爬虫程序采用多个线程并行处理网页,采用宽度优先和深度优先结合的方式来控制网页爬取深度.实验证明该爬虫程序减少了网页下载过程中的平均等待时间,具有较好的性能.
針對互聯網信息急劇增多,為瞭改善網絡爬蟲的爬行性能和提高爬蟲程序的通用性,分析瞭網絡爬蟲的原理與架構,設計實現瞭一種高速多線程網絡爬蟲程序.該爬蟲程序採用多箇線程併行處理網頁,採用寬度優先和深度優先結閤的方式來控製網頁爬取深度.實驗證明該爬蟲程序減少瞭網頁下載過程中的平均等待時間,具有較好的性能.
침대호련망신식급극증다,위료개선망락파충적파행성능화제고파충정서적통용성,분석료망락파충적원리여가구,설계실현료일충고속다선정망락파충정서.해파충정서채용다개선정병행처리망혈,채용관도우선화심도우선결합적방식래공제망혈파취심도.실험증명해파충정서감소료망혈하재과정중적평균등대시간,구유교호적성능.
