电信科学
電信科學
전신과학
TELECOMMUNICATIONS SCIENCE
2013年
8期
146-150,155
,共6页
陈舜华%王晓彤%郝志峰%蔡瑞初%肖晓军%卢宇
陳舜華%王曉彤%郝誌峰%蔡瑞初%肖曉軍%盧宇
진순화%왕효동%학지봉%채서초%초효군%로우
新浪微博%爬取策略%分布式爬取%微博API
新浪微博%爬取策略%分佈式爬取%微博API
신랑미박%파취책략%분포식파취%미박API
Sina microblog%crawling strategy%distributed crawl%microblog API
随着微博用户的迅猛增长,越来越多的人希望从用户的行为和微博内容中挖掘有趣的模式.针对如何对微博数据进行有效合理的采集,提出了基于微博API的分布式抓取技术,通过模拟微博登录自动授权,合理控制API的调用频次,结合任务分配控制器高效地获取微博数据.该分布式抓取技术还结合时间触发和内存数据库技术实现重复控制,避免了数据的重复爬取和重复存储,提高了系统的性能.本分布式抓取技术具有可扩展性高、任务分配明确、效率高、多种爬取策略适应不同的爬取需求等特点.新浪微博数据爬取实例验证了该技术的可行性.
隨著微博用戶的迅猛增長,越來越多的人希望從用戶的行為和微博內容中挖掘有趣的模式.針對如何對微博數據進行有效閤理的採集,提齣瞭基于微博API的分佈式抓取技術,通過模擬微博登錄自動授權,閤理控製API的調用頻次,結閤任務分配控製器高效地穫取微博數據.該分佈式抓取技術還結閤時間觸髮和內存數據庫技術實現重複控製,避免瞭數據的重複爬取和重複存儲,提高瞭繫統的性能.本分佈式抓取技術具有可擴展性高、任務分配明確、效率高、多種爬取策略適應不同的爬取需求等特點.新浪微博數據爬取實例驗證瞭該技術的可行性.
수착미박용호적신맹증장,월래월다적인희망종용호적행위화미박내용중알굴유취적모식.침대여하대미박수거진행유효합리적채집,제출료기우미박API적분포식조취기술,통과모의미박등록자동수권,합리공제API적조용빈차,결합임무분배공제기고효지획취미박수거.해분포식조취기술환결합시간촉발화내존수거고기술실현중복공제,피면료수거적중복파취화중복존저,제고료계통적성능.본분포식조취기술구유가확전성고、임무분배명학、효솔고、다충파취책략괄응불동적파취수구등특점.신랑미박수거파취실례험증료해기술적가행성.
