计算机应用与软件
計算機應用與軟件
계산궤응용여연건
COMPUTER APPLICATIONS AND SOFTWARE
2010年
12期
135-138
,共4页
主题爬虫%分布式%遗传算法%搜索引擎
主題爬蟲%分佈式%遺傳算法%搜索引擎
주제파충%분포식%유전산법%수색인경
研究实现了一个分布式网络爬虫系统.系统架构主要分为控制节点和爬行节点两部分,并描述了分布式系统关键技术的解决方案.系统采用二级哈希映射算法进行任务分配以解决基于目标导向、负载均衡的URL分配问题,使用消息通信使节点相互协作,提出利用遗传算法作为该主题爬虫系统的搜索策略,并给出了网页更新策略的改进方法.
研究實現瞭一箇分佈式網絡爬蟲繫統.繫統架構主要分為控製節點和爬行節點兩部分,併描述瞭分佈式繫統關鍵技術的解決方案.繫統採用二級哈希映射算法進行任務分配以解決基于目標導嚮、負載均衡的URL分配問題,使用消息通信使節點相互協作,提齣利用遺傳算法作為該主題爬蟲繫統的搜索策略,併給齣瞭網頁更新策略的改進方法.
연구실현료일개분포식망락파충계통.계통가구주요분위공제절점화파행절점량부분,병묘술료분포식계통관건기술적해결방안.계통채용이급합희영사산법진행임무분배이해결기우목표도향、부재균형적URL분배문제,사용소식통신사절점상호협작,제출이용유전산법작위해주제파충계통적수색책략,병급출료망혈경신책략적개진방법.
