计算机工程
計算機工程
계산궤공정
COMPUTER ENGINEERING
2010年
17期
288-290
,共3页
网络蜘蛛%ProActive中间件%节点对等%分布式%中心节点
網絡蜘蛛%ProActive中間件%節點對等%分佈式%中心節點
망락지주%ProActive중간건%절점대등%분포식%중심절점
针对带中心节点结构的分布式并行Web Spider的中心节点负担过重、通信负载不均衡、可扩展性差的问题,提出基于Rabin指纹算法的URL去重改进算法和节点对等结构的改进方案,利用ProActive中间件设计开发改进的分布式并行Web Spider.对比实验表明,改进后的Web Spider采集效率更高,通信负载均衡,无节点瓶颈问题,具有良好的可扩展性.
針對帶中心節點結構的分佈式併行Web Spider的中心節點負擔過重、通信負載不均衡、可擴展性差的問題,提齣基于Rabin指紋算法的URL去重改進算法和節點對等結構的改進方案,利用ProActive中間件設計開髮改進的分佈式併行Web Spider.對比實驗錶明,改進後的Web Spider採集效率更高,通信負載均衡,無節點瓶頸問題,具有良好的可擴展性.
침대대중심절점결구적분포식병행Web Spider적중심절점부담과중、통신부재불균형、가확전성차적문제,제출기우Rabin지문산법적URL거중개진산법화절점대등결구적개진방안,이용ProActive중간건설계개발개진적분포식병행Web Spider.대비실험표명,개진후적Web Spider채집효솔경고,통신부재균형,무절점병경문제,구유량호적가확전성.
