电脑知识与技术
電腦知識與技術
전뇌지식여기술
COMPUTER KNOWLEDGE AND TECHNOLOGY
2015年
1期
51-53
,共3页
MapReduce%调度算法%优化%容错性%推测性执行
MapReduce%調度算法%優化%容錯性%推測性執行
MapReduce%조도산법%우화%용착성%추측성집행
MapReduce%scheduling algorithms%optimization%fault tolerance%speculative execution
MapReduce作为一个分布式并行计算框架，在大数据处理方面得到了广泛的应用。该计算框架在同构集群环境中能够高效地运行，但是在异构集群环境中原容错算法不能正确地检测慢速任务，导致了性能的大幅下降。该文针对这一现象，分析了问题的主要原因，并且介绍了现存的几个优化算法，即Longest Approximate Time to End（LATE）算法，Self-Adaptive MapReduce（SAMR）算法，Enhanced Self-Adaptive MapReduce（ESAMR）算法，比较了各个算法的优缺点，最后指出了未来的研究方向。
MapReduce作為一箇分佈式併行計算框架，在大數據處理方麵得到瞭廣汎的應用。該計算框架在同構集群環境中能夠高效地運行，但是在異構集群環境中原容錯算法不能正確地檢測慢速任務，導緻瞭性能的大幅下降。該文針對這一現象，分析瞭問題的主要原因，併且介紹瞭現存的幾箇優化算法，即Longest Approximate Time to End（LATE）算法，Self-Adaptive MapReduce（SAMR）算法，Enhanced Self-Adaptive MapReduce（ESAMR）算法，比較瞭各箇算法的優缺點，最後指齣瞭未來的研究方嚮。
MapReduce작위일개분포식병행계산광가，재대수거처리방면득도료엄범적응용。해계산광가재동구집군배경중능구고효지운행，단시재이구집군배경중원용착산법불능정학지검측만속임무，도치료성능적대폭하강。해문침대저일현상，분석료문제적주요원인，병차개소료현존적궤개우화산법，즉Longest Approximate Time to End（LATE）산법，Self-Adaptive MapReduce（SAMR）산법，Enhanced Self-Adaptive MapReduce（ESAMR）산법，비교료각개산법적우결점，최후지출료미래적연구방향。
As a parallel programming model, MapReduce is widely used to process large data sets on a cluster. The current Ma?pReduce implementation works effectively in homogeneous environment, but has a poor performance due to the static method used to detect stragglers. This paper discusses how the heterogeneity affects the MapReduce performance and surveys some of the approaches that have been designed to improve the MapReduce performance in heterogeneous environments. Advantages and disadvantages of these algorithms are identified.
