电子技术
電子技術
전자기술
Electronic Technology
2015年
9期
92-97
,共6页
Hadoop%作业%Reduce任务%数据本地性%延迟调度
Hadoop%作業%Reduce任務%數據本地性%延遲調度
Hadoop%작업%Reduce임무%수거본지성%연지조도
Hadoop%Job%Reduce Task%Data locality%Delay Scheduler
为了提高Hadoop作业的Reduce任务的数据本地性，深入分析了Reduce任务的数据本地性问题，并提出了一种延迟调度算法DSORT（Delay Scheduler Of Reduce Task），将延迟调度的思想应用到Reduce任务的数据本地性的优化上，并将DSORT的实现嵌入公平调度器中，最后，通过与原生的公平调度器比较，该算法大大提高了Reduce任务的数据本地性，减少了网络传输开销，缩短了作业的执行时间。
為瞭提高Hadoop作業的Reduce任務的數據本地性，深入分析瞭Reduce任務的數據本地性問題，併提齣瞭一種延遲調度算法DSORT（Delay Scheduler Of Reduce Task），將延遲調度的思想應用到Reduce任務的數據本地性的優化上，併將DSORT的實現嵌入公平調度器中，最後，通過與原生的公平調度器比較，該算法大大提高瞭Reduce任務的數據本地性，減少瞭網絡傳輸開銷，縮短瞭作業的執行時間。
위료제고Hadoop작업적Reduce임무적수거본지성，심입분석료Reduce임무적수거본지성문제，병제출료일충연지조도산법DSORT（Delay Scheduler Of Reduce Task），장연지조도적사상응용도Reduce임무적수거본지성적우화상，병장DSORT적실현감입공평조도기중，최후，통과여원생적공평조도기비교，해산법대대제고료Reduce임무적수거본지성，감소료망락전수개소，축단료작업적집행시간。
This thesis in-depth analysis the local data issues of Reduce tasks, and proposes a delay scheduling algorithm DSORT. The strategy of scheduling delays is applied in the optimization of Reduce tasks’ data locality, and also it embedded the realization of DSORT into fair scheduler. The algorithm greatly improves the data locality of Reduce tasks, and it reduces transport network cost and shortens the execution time of the job by comparison with native fair scheduler.
