计算机科学
計算機科學
계산궤과학
COMPUTER SCIENCE
2015年
4期
141-146
,共6页
MapReduce%数据倾斜%负载均衡%压力反馈
MapReduce%數據傾斜%負載均衡%壓力反饋
MapReduce%수거경사%부재균형%압력반궤
MapReduce%Data skew%Load balance%Pressure feedback
数据倾斜是严重影响MapReduce性能的因素之一.数据倾斜问题的现有解决方法需要用户对应用类型提供针对的分区函数,或是为MapReduce编写额外的采样过程,增加了用户的负担.为解决上述问题,提出了一种基于压力统计的负载均衡策略.该策略充分利用MapReduce中的混洗阶段,在reducer准备数据的同时进行统计,以获取全局数据分布.系统根据数据分布情况对负载较重节点进行调度,平衡整个集群负载,而无需用户提供额外的输入.此外,考虑到上层不同的应用类型,引入了压力反馈机制来进一步提高调度策略的性能.实验结果表明,提出的负载均衡调度策略的性能优于默认策略性能.
數據傾斜是嚴重影響MapReduce性能的因素之一.數據傾斜問題的現有解決方法需要用戶對應用類型提供針對的分區函數,或是為MapReduce編寫額外的採樣過程,增加瞭用戶的負擔.為解決上述問題,提齣瞭一種基于壓力統計的負載均衡策略.該策略充分利用MapReduce中的混洗階段,在reducer準備數據的同時進行統計,以穫取全跼數據分佈.繫統根據數據分佈情況對負載較重節點進行調度,平衡整箇集群負載,而無需用戶提供額外的輸入.此外,攷慮到上層不同的應用類型,引入瞭壓力反饋機製來進一步提高調度策略的性能.實驗結果錶明,提齣的負載均衡調度策略的性能優于默認策略性能.
수거경사시엄중영향MapReduce성능적인소지일.수거경사문제적현유해결방법수요용호대응용류형제공침대적분구함수,혹시위MapReduce편사액외적채양과정,증가료용호적부담.위해결상술문제,제출료일충기우압력통계적부재균형책략.해책략충분이용MapReduce중적혼세계단,재reducer준비수거적동시진행통계,이획취전국수거분포.계통근거수거분포정황대부재교중절점진행조도,평형정개집군부재,이무수용호제공액외적수입.차외,고필도상층불동적응용류형,인입료압력반궤궤제래진일보제고조도책략적성능.실험결과표명,제출적부재균형조도책략적성능우우묵인책략성능.
