信息通信
信息通信
신식통신
Information & Communications
2015年
10期
41-42
,共2页
MapReduce分区算法%负载均衡%反馈机制%Hadoop
MapReduce分區算法%負載均衡%反饋機製%Hadoop
MapReduce분구산법%부재균형%반궤궤제%Hadoop
MapReduce是一种处理大规模数据的并行计算模型,针对传统模型中reduce阶段各结点负载不均衡的问题,提出reduce阶段负载均衡分区算法.算法将map阶段产生的中间数据划分为更多的分区,减少了每个分区的工作量,引入了反馈机制来进一步提高调度策略的性能,每次给reducetask分配都是基于反馈信息选择最优的分区,reducetask完成工作之后会继续获得新的分区,直到所有的分区都被分配完毕,实现了动态调节各reducetask的负载.通过重写Hadoop平台内核实现了算法并进行了实验分析,结果表明,该算法在不影响MapReduce模型的情况下显著地缩短了任务的处理时间.
MapReduce是一種處理大規模數據的併行計算模型,針對傳統模型中reduce階段各結點負載不均衡的問題,提齣reduce階段負載均衡分區算法.算法將map階段產生的中間數據劃分為更多的分區,減少瞭每箇分區的工作量,引入瞭反饋機製來進一步提高調度策略的性能,每次給reducetask分配都是基于反饋信息選擇最優的分區,reducetask完成工作之後會繼續穫得新的分區,直到所有的分區都被分配完畢,實現瞭動態調節各reducetask的負載.通過重寫Hadoop平檯內覈實現瞭算法併進行瞭實驗分析,結果錶明,該算法在不影響MapReduce模型的情況下顯著地縮短瞭任務的處理時間.
MapReduce시일충처리대규모수거적병행계산모형,침대전통모형중reduce계단각결점부재불균형적문제,제출reduce계단부재균형분구산법.산법장map계단산생적중간수거화분위경다적분구,감소료매개분구적공작량,인입료반궤궤제래진일보제고조도책략적성능,매차급reducetask분배도시기우반궤신식선택최우적분구,reducetask완성공작지후회계속획득신적분구,직도소유적분구도피분배완필,실현료동태조절각reducetask적부재.통과중사Hadoop평태내핵실현료산법병진행료실험분석,결과표명,해산법재불영향MapReduce모형적정황하현저지축단료임무적처리시간.
