计算机科学
計算機科學
계산궤과학
COMPUTER SCIENCE
2015年
6期
28-31,45
,共5页
李曌%滕飞%李天瑞%杨浩
李曌%滕飛%李天瑞%楊浩
리조%등비%리천서%양호
调度算法%截止时间%作业类别%MapReduce%Hadoop
調度算法%截止時間%作業類彆%MapReduce%Hadoop
조도산법%절지시간%작업유별%MapReduce%Hadoop
Scheduler algorithm%Deadline%Job-type%MapReduce%Hadoop
Hadoop是一种开源可靠的分布式计算框架,而MapReduce是处理超大规模数据集的编程模型.鉴于Ha-doop内置的调度器不能很好地处理类别不同且有截止时间的作业的调度,提出了一种基于作业类别和截止时间的作业调度算法.作业分为CPU密集型和I/O密集型,并根据截止时间设置优先级来实现作业的调度.实验结果表明,该算法在充分利用集群的CPU和磁盘I/O的同时,能满足作业的截止期需求,当同一时间段内截止时间相近时算法达到最优,当某一队列中作业截止时间均比另一种队列短时,算法效率最低.
Hadoop是一種開源可靠的分佈式計算框架,而MapReduce是處理超大規模數據集的編程模型.鑒于Ha-doop內置的調度器不能很好地處理類彆不同且有截止時間的作業的調度,提齣瞭一種基于作業類彆和截止時間的作業調度算法.作業分為CPU密集型和I/O密集型,併根據截止時間設置優先級來實現作業的調度.實驗結果錶明,該算法在充分利用集群的CPU和磁盤I/O的同時,能滿足作業的截止期需求,噹同一時間段內截止時間相近時算法達到最優,噹某一隊列中作業截止時間均比另一種隊列短時,算法效率最低.
Hadoop시일충개원가고적분포식계산광가,이MapReduce시처리초대규모수거집적편정모형.감우Ha-doop내치적조도기불능흔호지처리유별불동차유절지시간적작업적조도,제출료일충기우작업유별화절지시간적작업조도산법.작업분위CPU밀집형화I/O밀집형,병근거절지시간설치우선급래실현작업적조도.실험결과표명,해산법재충분이용집군적CPU화자반I/O적동시,능만족작업적절지기수구,당동일시간단내절지시간상근시산법체도최우,당모일대렬중작업절지시간균비령일충대렬단시,산법효솔최저.
