上海交通大学学报
上海交通大學學報
상해교통대학학보
JOURNAL OF SHANGHAI JIAOTONG UNIVERSITY
2004年
1期
59-61
,共3页
张岭%叶允明%宋晖%于水%马范援
張嶺%葉允明%宋暉%于水%馬範援
장령%협윤명%송휘%우수%마범원
Web信息搜集器%分布式系统%搜索引擎
Web信息搜集器%分佈式繫統%搜索引擎
Web신식수집기%분포식계통%수색인경
介绍了一种大规模、高性能、分布式的Web信息搜集器的设计及其Java实现.提出了Crawler设计中数据结构、系统功能模块和相关算法新的设计思想;对设计与实现过程中需要解决的关键问题分布式协调机制、基于内存的URL存储管理等进行了讨论,并提供了现阶段的设计、实现方法和分布式无损链接分析算法.
介紹瞭一種大規模、高性能、分佈式的Web信息搜集器的設計及其Java實現.提齣瞭Crawler設計中數據結構、繫統功能模塊和相關算法新的設計思想;對設計與實現過程中需要解決的關鍵問題分佈式協調機製、基于內存的URL存儲管理等進行瞭討論,併提供瞭現階段的設計、實現方法和分佈式無損鏈接分析算法.
개소료일충대규모、고성능、분포식적Web신식수집기적설계급기Java실현.제출료Crawler설계중수거결구、계통공능모괴화상관산법신적설계사상;대설계여실현과정중수요해결적관건문제분포식협조궤제、기우내존적URL존저관리등진행료토론,병제공료현계단적설계、실현방법화분포식무손련접분석산법.
