计算机工程与科学
計算機工程與科學
계산궤공정여과학
COMPUTER ENGINEERING & SCIENCE
2014年
10期
1846-1853
,共8页
数据流%流式处理%负载均衡%数据分配%数据迁移
數據流%流式處理%負載均衡%數據分配%數據遷移
수거류%류식처리%부재균형%수거분배%수거천이
data stream%stream processing%load balancing%data distribution%data migration
流式数据处理中,数据倾斜等原因易导致计算节点的负载不均衡,降低系统处理能力.传统的负载均衡方法,比如算子分配、算子迁移和负载脱落等技术因为相对较高的性能代价,在流式处理系统中没有得到广泛的应用.针对流式处理系统的特点,提出一种新的负载均衡方法.在该方法中,计算单元的数据被划分为若干分区,并且数据分区可以在计算单元中动态分配和迁移,在较少干扰系统运行的情况下,通过动态调整各计算单元的分区,平衡各个计算单元的输入流和利用率,以此达到负载平衡的目的.在此基础上,设计并实现了流式处理系统的负载均衡算法和数据在线迁移技术.实验结果表明,该方法能够显著减少数据处理的平均延迟,提高系统吞吐量.
流式數據處理中,數據傾斜等原因易導緻計算節點的負載不均衡,降低繫統處理能力.傳統的負載均衡方法,比如算子分配、算子遷移和負載脫落等技術因為相對較高的性能代價,在流式處理繫統中沒有得到廣汎的應用.針對流式處理繫統的特點,提齣一種新的負載均衡方法.在該方法中,計算單元的數據被劃分為若榦分區,併且數據分區可以在計算單元中動態分配和遷移,在較少榦擾繫統運行的情況下,通過動態調整各計算單元的分區,平衡各箇計算單元的輸入流和利用率,以此達到負載平衡的目的.在此基礎上,設計併實現瞭流式處理繫統的負載均衡算法和數據在線遷移技術.實驗結果錶明,該方法能夠顯著減少數據處理的平均延遲,提高繫統吞吐量.
류식수거처리중,수거경사등원인역도치계산절점적부재불균형,강저계통처리능력.전통적부재균형방법,비여산자분배、산자천이화부재탈락등기술인위상대교고적성능대개,재류식처리계통중몰유득도엄범적응용.침대류식처리계통적특점,제출일충신적부재균형방법.재해방법중,계산단원적수거피화분위약간분구,병차수거분구가이재계산단원중동태분배화천이,재교소간우계통운행적정황하,통과동태조정각계산단원적분구,평형각개계산단원적수입류화이용솔,이차체도부재평형적목적.재차기출상,설계병실현료류식처리계통적부재균형산법화수거재선천이기술.실험결과표명,해방법능구현저감소수거처리적평균연지,제고계통탄토량.
