计算机科学
計算機科學
계산궤과학
Computer Science
2015年
10期
50-56
,共7页
MapReduce%数据本地性%数据倾斜%负载均衡
MapReduce%數據本地性%數據傾斜%負載均衡
MapReduce%수거본지성%수거경사%부재균형
MapReduce%Data locality%Data skew%Load balance
现有针对MapReduce的负载均衡调度的研究均未考虑中间数据的分布特点及网络传输的开销,导致额外的网络传输代价与系统效率的下降.为解决上述问题,提出了一种数据本地性感知的负载均衡策略.充分利用YARN中资源管理的新特性,在Map阶段对内存数据溢写的同时进行统计以获取数据分布,根据数据分布情况及各节点的计算能力进行任务调度,减少网络传输开销的同时尽量保证各节点的负载平衡.此外,通过引入细粒度分区与分区的自适应分裂策略,进一步提高在数据倾斜时调度策略的性能.对比实验结果表明,提出的负载均衡调度策略能有效提升性能,同时较好地降低网络总开销.
現有針對MapReduce的負載均衡調度的研究均未攷慮中間數據的分佈特點及網絡傳輸的開銷,導緻額外的網絡傳輸代價與繫統效率的下降.為解決上述問題,提齣瞭一種數據本地性感知的負載均衡策略.充分利用YARN中資源管理的新特性,在Map階段對內存數據溢寫的同時進行統計以穫取數據分佈,根據數據分佈情況及各節點的計算能力進行任務調度,減少網絡傳輸開銷的同時儘量保證各節點的負載平衡.此外,通過引入細粒度分區與分區的自適應分裂策略,進一步提高在數據傾斜時調度策略的性能.對比實驗結果錶明,提齣的負載均衡調度策略能有效提升性能,同時較好地降低網絡總開銷.
현유침대MapReduce적부재균형조도적연구균미고필중간수거적분포특점급망락전수적개소,도치액외적망락전수대개여계통효솔적하강.위해결상술문제,제출료일충수거본지성감지적부재균형책략.충분이용YARN중자원관리적신특성,재Map계단대내존수거일사적동시진행통계이획취수거분포,근거수거분포정황급각절점적계산능력진행임무조도,감소망락전수개소적동시진량보증각절점적부재평형.차외,통과인입세립도분구여분구적자괄응분렬책략,진일보제고재수거경사시조도책략적성능.대비실험결과표명,제출적부재균형조도책략능유효제승성능,동시교호지강저망락총개소.
