电信科学
電信科學
전신과학
TELECOMMUNICATIONS SCIENCE
2013年
7期
66-71
,共6页
黄宇鹏%袁畅%郝志峰%蔡瑞初%肖晓军%卢宇
黃宇鵬%袁暢%郝誌峰%蔡瑞初%肖曉軍%盧宇
황우붕%원창%학지봉%채서초%초효군%로우
分布式系统架构%舆情分析%爬虫%可视化
分佈式繫統架構%輿情分析%爬蟲%可視化
분포식계통가구%여정분석%파충%가시화
distributed system architecture%public opinion analysis%crawler%visualization
随着互联网数据的快速增长,针对如何对互联网数据进行有效的收集和分析,提出一种基于分布式平台的系统架构.该架构包括爬虫模块、Web模块以及分布式平台三大模块,其中爬虫模块负责数据的收集,Web模块负责简单任务的处理以及分析结果的可视化展示,分布式平台提供数据的存储以及复杂任务的计算功能,3个模块的结合为网络上海量数据的爬取、存储与分析提供了一个很好的解决方案.最后,针对社交网站新浪微博的应用案例验证了该分布式舆情分析系统架构的可用性.
隨著互聯網數據的快速增長,針對如何對互聯網數據進行有效的收集和分析,提齣一種基于分佈式平檯的繫統架構.該架構包括爬蟲模塊、Web模塊以及分佈式平檯三大模塊,其中爬蟲模塊負責數據的收集,Web模塊負責簡單任務的處理以及分析結果的可視化展示,分佈式平檯提供數據的存儲以及複雜任務的計算功能,3箇模塊的結閤為網絡上海量數據的爬取、存儲與分析提供瞭一箇很好的解決方案.最後,針對社交網站新浪微博的應用案例驗證瞭該分佈式輿情分析繫統架構的可用性.
수착호련망수거적쾌속증장,침대여하대호련망수거진행유효적수집화분석,제출일충기우분포식평태적계통가구.해가구포괄파충모괴、Web모괴이급분포식평태삼대모괴,기중파충모괴부책수거적수집,Web모괴부책간단임무적처리이급분석결과적가시화전시,분포식평태제공수거적존저이급복잡임무적계산공능,3개모괴적결합위망락상해량수거적파취、존저여분석제공료일개흔호적해결방안.최후,침대사교망참신랑미박적응용안례험증료해분포식여정분석계통가구적가용성.
