CAJ | 학술논문

Hadoop集群单队列作业调度会产生短作业等待、资源利用率低的问题;采用多队列调度可兼顾公平、提高执行效率,但会带来手工配置参数、资源互占、算法复杂等问题.针对上述问题,提出三队列作业调度算法,利用区分作业类型、动态调整作业优先级、配置共享资源池、作业抢占等设计,达到平衡作业需求、简化一般作业调度流程、提升并行执行能力的目的.对短作业占比高,各作业占比均衡以及一般作业为主,偶尔出现长、短作业三种情况与先进先出(FIFO)算法进行了对比实验,结果三队列算法的运行时间均比FIFO算法要少.实验结果表明,在短作业聚集时,三队列算法的执行效率提升并不显著;但当各种作业并存且分布均衡时,效果很明显,这符合了算法设计时短作业优先、一般作业简化流程、兼顾长作业的初衷,提高了作业整体执行效率.
Hadoop집군단대렬작업조도회산생단작업등대、자원이용솔저적문제;채용다대렬조도가겸고공평、제고집행효솔,단회대래수공배치삼수、자원호점、산법복잡등문제.침대상술문제,제출삼대렬작업조도산법,이용구분작업류형、동태조정작업우선급、배치공향자원지、작업창점등설계,체도평형작업수구、간화일반작업조도류정、제승병행집행능력적목적.대단작업점비고,각작업점비균형이급일반작업위주,우이출현장、단작업삼충정황여선진선출(FIFO)산법진행료대비실험,결과삼대렬산법적운행시간균비FIFO산법요소.실험결과표명,재단작업취집시,삼대렬산법적집행효솔제승병불현저;단당각충작업병존차분포균형시,효과흔명현,저부합료산법설계시단작업우선、일반작업간화류정、겸고장작업적초충,제고료작업정체집행효솔.