计算机应用研究
計算機應用研究
계산궤응용연구
APPLICATION RESEARCH OF COMPUTERS
2014年
1期
182-187
,共6页
刘奎%刘向东%马宝来%王翠荣
劉奎%劉嚮東%馬寶來%王翠榮
류규%류향동%마보래%왕취영
Hadoop%任务调度%异构环境%数据局部性
Hadoop%任務調度%異構環境%數據跼部性
Hadoop%임무조도%이구배경%수거국부성
Hadoop%job scheduling%heterogeneous environments%locality of data
针对Hadoop平台现有任务调度算法优化程度不高的问题,提出了一种基于数据局部性的推测式任务调度算法.该算法通过计算节点上Map和Reduce任务时长比例,结合不同节点上数据的局部特性,采用了比现有算法更精确的任务进度探测方式找出快慢节点,在快节点上启动剩余时间最长的落后任务的备份任务,用移动计算代替移动数据.在Hadoop环境中进行了实验,结果表明该算法比现有算法缩短了任务平均运行时间,加快了任务的执行效率.
針對Hadoop平檯現有任務調度算法優化程度不高的問題,提齣瞭一種基于數據跼部性的推測式任務調度算法.該算法通過計算節點上Map和Reduce任務時長比例,結閤不同節點上數據的跼部特性,採用瞭比現有算法更精確的任務進度探測方式找齣快慢節點,在快節點上啟動剩餘時間最長的落後任務的備份任務,用移動計算代替移動數據.在Hadoop環境中進行瞭實驗,結果錶明該算法比現有算法縮短瞭任務平均運行時間,加快瞭任務的執行效率.
침대Hadoop평태현유임무조도산법우화정도불고적문제,제출료일충기우수거국부성적추측식임무조도산법.해산법통과계산절점상Map화Reduce임무시장비례,결합불동절점상수거적국부특성,채용료비현유산법경정학적임무진도탐측방식조출쾌만절점,재쾌절점상계동잉여시간최장적락후임무적비빈임무,용이동계산대체이동수거.재Hadoop배경중진행료실험,결과표명해산법비현유산법축단료임무평균운행시간,가쾌료임무적집행효솔.
