CAJ | 학술논문

爬虫作为网页搜索下载程序,其网络爬行性能决定了搜索引擎的性能和数据质量。本文通过分析聚焦爬虫的特点和网络环境,总结出三类制约爬行性能的主要问题,分别是DNS查询及缓存设置、内外部分布式爬行特点和网页URL静态与动态分配策略。结论为聚焦爬虫使用URL静态分配策略结合异步DNS查询及缓存设置,在内部分布式爬行时可有效提高网络爬行性能。
파충작위망혈수색하재정서,기망락파행성능결정료수색인경적성능화수거질량。본문통과분석취초파충적특점화망락배경,총결출삼류제약파행성능적주요문제,분별시DNS사순급완존설치、내외부분포식파행특점화망혈URL정태여동태분배책략。결론위취초파충사용URL정태분배책략결합이보DNS사순급완존설치,재내부분포식파행시가유효제고망락파행성능。