计算机与数字工程
計算機與數字工程
계산궤여수자공정
COMPUTER & DIGITAL ENGINEERING
2012年
9期
63-65
,共3页
中央控制节点%宽度优先搜索%线程%搜索引擎
中央控製節點%寬度優先搜索%線程%搜索引擎
중앙공제절점%관도우선수색%선정%수색인경
针对日益突出的网页访问问题,设计了一种新型分布式Web Spider.该分布式Web Spider采用中央控制节点来协调各个web spider的行为,利用宽度优先搜索来获得高质量的网页,通过对DNS缓存来提高访问web server的速度,以增加并行线程数量的方式来增加网页下载速度,并能动态地加入web spider节点和子中央控制节点,具有很强的灵活性和扩张能力.实验结果表明该分布式Web Spider作为搜索引擎的前端能够快速有效地下载网页,具有较好的性能.
針對日益突齣的網頁訪問問題,設計瞭一種新型分佈式Web Spider.該分佈式Web Spider採用中央控製節點來協調各箇web spider的行為,利用寬度優先搜索來穫得高質量的網頁,通過對DNS緩存來提高訪問web server的速度,以增加併行線程數量的方式來增加網頁下載速度,併能動態地加入web spider節點和子中央控製節點,具有很彊的靈活性和擴張能力.實驗結果錶明該分佈式Web Spider作為搜索引擎的前耑能夠快速有效地下載網頁,具有較好的性能.
침대일익돌출적망혈방문문제,설계료일충신형분포식Web Spider.해분포식Web Spider채용중앙공제절점래협조각개web spider적행위,이용관도우선수색래획득고질량적망혈,통과대DNS완존래제고방문web server적속도,이증가병행선정수량적방식래증가망혈하재속도,병능동태지가입web spider절점화자중앙공제절점,구유흔강적령활성화확장능력.실험결과표명해분포식Web Spider작위수색인경적전단능구쾌속유효지하재망혈,구유교호적성능.
