计算机应用
計算機應用
계산궤응용
COMPUTER APPLICATION
2014年
11期
3131-3134
,共4页
新浪微博%爬虫%Python%并行%大数据
新浪微博%爬蟲%Python%併行%大數據
신랑미박%파충%Python%병행%대수거
Sina Weibo%crawler%Python%parallel%big data
目前很多的社交网络研究都是采用国外的平台数据,而国内的新浪微博没有很好的接口方便研究人员采集数据进行分析.为了快速地获取到微博中的数据,开发了一款支持并行的微博数据抓取工具.该工具可以实时抓取微博中指定用户的粉丝信息、微博正文等内容;该工具利用关键字匹配技术,匹配符合规定条件的微博,并抓取相关内容;该工具支持并行抓取,可以同时抓取多个用户的信息.最后将串行微博爬虫工具和其并行版本进行对比,并使用该工具对部分微博数据作了一个关于流感问题的分析.实验结果显示:并行爬虫拥有较好的加速比,可以快速地获取数据,并且这些数据具有实时性和准确性.
目前很多的社交網絡研究都是採用國外的平檯數據,而國內的新浪微博沒有很好的接口方便研究人員採集數據進行分析.為瞭快速地穫取到微博中的數據,開髮瞭一款支持併行的微博數據抓取工具.該工具可以實時抓取微博中指定用戶的粉絲信息、微博正文等內容;該工具利用關鍵字匹配技術,匹配符閤規定條件的微博,併抓取相關內容;該工具支持併行抓取,可以同時抓取多箇用戶的信息.最後將串行微博爬蟲工具和其併行版本進行對比,併使用該工具對部分微博數據作瞭一箇關于流感問題的分析.實驗結果顯示:併行爬蟲擁有較好的加速比,可以快速地穫取數據,併且這些數據具有實時性和準確性.
목전흔다적사교망락연구도시채용국외적평태수거,이국내적신랑미박몰유흔호적접구방편연구인원채집수거진행분석.위료쾌속지획취도미박중적수거,개발료일관지지병행적미박수거조취공구.해공구가이실시조취미박중지정용호적분사신식、미박정문등내용;해공구이용관건자필배기술,필배부합규정조건적미박,병조취상관내용;해공구지지병행조취,가이동시조취다개용호적신식.최후장천행미박파충공구화기병행판본진행대비,병사용해공구대부분미박수거작료일개관우류감문제적분석.실험결과현시:병행파충옹유교호적가속비,가이쾌속지획취수거,병차저사수거구유실시성화준학성.
