CAJ | 학술논문

Hadoop原有的作业调度算法在任务级调度阶段均采用简单考虑数据本地性的任务分配策略,并不能保证良好的数据本地性,而相应的改进算法改进目标不一,也不完全适用于所有作业调度场合.针对以上问题,结合数据预取理念提出一种基于资源预取的作业调度算法.通过估算节点上正在运行任务的剩余执行时间,并与传输一个数据块所需时间进行比较,预选出待预取的候选节点;并从当前正在运行作业的未分配任务中选取非本地map任务作为待预取任务;最后,为该任务在候选节点上预取其所需数据.实验结果表明该改进算法有效地提高了作业的数据本地性,并在一定程度上减少了作业执行时间.
Hadoop원유적작업조도산법재임무급조도계단균채용간단고필수거본지성적임무분배책략,병불능보증량호적수거본지성,이상응적개진산법개진목표불일,야불완전괄용우소유작업조도장합.침대이상문제,결합수거예취이념제출일충기우자원예취적작업조도산법.통과고산절점상정재운행임무적잉여집행시간,병여전수일개수거괴소수시간진행비교,예선출대예취적후선절점;병종당전정재운행작업적미분배임무중선취비본지map임무작위대예취임무;최후,위해임무재후선절점상예취기소수수거.실험결과표명해개진산법유효지제고료작업적수거본지성,병재일정정도상감소료작업집행시간.