华中科技大学学报（自然科学版）
華中科技大學學報（自然科學版）
화중과기대학학보（자연과학판）
JOURNAL OF HUAZHONG UNIVERSITY OF SCIENCE AND TECHNOLOGY(NATURE SCIENCE)
2007年
z2期
148-152
,共5页
方启明%杨广文%武永卫%朱安平%郑纬民
方啟明%楊廣文%武永衛%硃安平%鄭緯民
방계명%양엄문%무영위%주안평%정위민
P2P搜索%聚焦网络爬虫%链接导航%增量更新%批量更新
P2P搜索%聚焦網絡爬蟲%鏈接導航%增量更新%批量更新
P2P수색%취초망락파충%련접도항%증량경신%비량경신
提出了一种可定制聚焦网络爬虫技术.该技术采用简单的主题描述方法提高网络爬虫的可定制性,利用基于站点页面链接结构的链接导航技术实现对主题信息的高效抓取,通过配置文件实施定制,从而构建一个资源消耗小、数据采集准确性高、可控性强的轻量级聚焦网络爬虫,以满足P2P搜索的需求.文中进一步提出一种增量更新和批量更新相结合的网络爬虫数据更新机制,这种混合更新机制降低了增量更新的实现复杂性,相比批量更新具有更小的资源消耗,实验表明采用这种机制能达到较高的数据新鲜度和召回率.
提齣瞭一種可定製聚焦網絡爬蟲技術.該技術採用簡單的主題描述方法提高網絡爬蟲的可定製性,利用基于站點頁麵鏈接結構的鏈接導航技術實現對主題信息的高效抓取,通過配置文件實施定製,從而構建一箇資源消耗小、數據採集準確性高、可控性彊的輕量級聚焦網絡爬蟲,以滿足P2P搜索的需求.文中進一步提齣一種增量更新和批量更新相結閤的網絡爬蟲數據更新機製,這種混閤更新機製降低瞭增量更新的實現複雜性,相比批量更新具有更小的資源消耗,實驗錶明採用這種機製能達到較高的數據新鮮度和召迴率.
제출료일충가정제취초망락파충기술.해기술채용간단적주제묘술방법제고망락파충적가정제성,이용기우참점혈면련접결구적련접도항기술실현대주제신식적고효조취,통과배치문건실시정제,종이구건일개자원소모소、수거채집준학성고、가공성강적경량급취초망락파충,이만족P2P수색적수구.문중진일보제출일충증량경신화비량경신상결합적망락파충수거경신궤제,저충혼합경신궤제강저료증량경신적실현복잡성,상비비량경신구유경소적자원소모,실험표명채용저충궤제능체도교고적수거신선도화소회솔.
