计算机应用
計算機應用
계산궤응용
COMPUTER APPLICATION
2014年
11期
3078-3081
,共4页
王铭坤%袁少光%朱永利%王德文
王銘坤%袁少光%硃永利%王德文
왕명곤%원소광%주영리%왕덕문
Storm%海量数据%聚类%实时分析
Storm%海量數據%聚類%實時分析
Storm%해량수거%취류%실시분석
Storm%massive data%clustering%real-time analysis
针对现有平台处理海量数据实时响应能力普遍较差的问题,引入Storm分布式实时计算平台进行大规模数据的聚类分析,设计了基于Storm框架的DBSCAN算法.该算法将整个过程分为数据接入、聚类分析、结果输出等阶段,在框架预定义的组件中分别编程实现,各组件通过数据流连通形成任务实体,提交到集群运行完成.通过对比分析和性能监测,验证了所提方案具有低延迟和高吞吐量的优势,集群运行状况良好,负载均衡.实验结果表明Storm平台处理海量数据实时性较高,能够胜任大数据背景下的数据挖掘任务.
針對現有平檯處理海量數據實時響應能力普遍較差的問題,引入Storm分佈式實時計算平檯進行大規模數據的聚類分析,設計瞭基于Storm框架的DBSCAN算法.該算法將整箇過程分為數據接入、聚類分析、結果輸齣等階段,在框架預定義的組件中分彆編程實現,各組件通過數據流連通形成任務實體,提交到集群運行完成.通過對比分析和性能鑑測,驗證瞭所提方案具有低延遲和高吞吐量的優勢,集群運行狀況良好,負載均衡.實驗結果錶明Storm平檯處理海量數據實時性較高,能夠勝任大數據揹景下的數據挖掘任務.
침대현유평태처리해량수거실시향응능력보편교차적문제,인입Storm분포식실시계산평태진행대규모수거적취류분석,설계료기우Storm광가적DBSCAN산법.해산법장정개과정분위수거접입、취류분석、결과수출등계단,재광가예정의적조건중분별편정실현,각조건통과수거류련통형성임무실체,제교도집군운행완성.통과대비분석화성능감측,험증료소제방안구유저연지화고탄토량적우세,집군운행상황량호,부재균형.실험결과표명Storm평태처리해량수거실시성교고,능구성임대수거배경하적수거알굴임무.
