集成技术
集成技術
집성기술
Journal of Integration Technology
2012年
3期
66-71
,共6页
Hadoop%作业调度算法%插槽%多资源%公平
Hadoop%作業調度算法%插槽%多資源%公平
Hadoop%작업조도산법%삽조%다자원%공평
目前Hadoop的作业调度算法都是将系统中的多类资源抽象成单一资源,分配给作业的资源均是节点资源中固定大小的一部分,称为插槽.这类基于插槽的算法没有考虑到系统多资源的差异性,忽略了不同类型作业对资源的不同需求,因此导致系统在吞吐量和平均作业完成时间上性能低下.本文研究了多资源环境下公平调度算法在Hadoop中的实现,设计了一种多资源公平调度器MFS(Multi-resource Fair Scheduler).MFS采用了DRF(Dominant Resource Fairness)调度思想,使用需求向量来描述作业对各类资源的需求,并按照需求向量中各资源的大小给作业分配资源.MFS能更加充分有效地使用系统的各类资源,并能满足不同类型作业对资源的不同需求.实验表明相比于基于插槽的Fair Scheduler与Capacity Scheduler,MFS提高了系统的吞吐量,降低了平均作业完成时间.
目前Hadoop的作業調度算法都是將繫統中的多類資源抽象成單一資源,分配給作業的資源均是節點資源中固定大小的一部分,稱為插槽.這類基于插槽的算法沒有攷慮到繫統多資源的差異性,忽略瞭不同類型作業對資源的不同需求,因此導緻繫統在吞吐量和平均作業完成時間上性能低下.本文研究瞭多資源環境下公平調度算法在Hadoop中的實現,設計瞭一種多資源公平調度器MFS(Multi-resource Fair Scheduler).MFS採用瞭DRF(Dominant Resource Fairness)調度思想,使用需求嚮量來描述作業對各類資源的需求,併按照需求嚮量中各資源的大小給作業分配資源.MFS能更加充分有效地使用繫統的各類資源,併能滿足不同類型作業對資源的不同需求.實驗錶明相比于基于插槽的Fair Scheduler與Capacity Scheduler,MFS提高瞭繫統的吞吐量,降低瞭平均作業完成時間.
목전Hadoop적작업조도산법도시장계통중적다류자원추상성단일자원,분배급작업적자원균시절점자원중고정대소적일부분,칭위삽조.저류기우삽조적산법몰유고필도계통다자원적차이성,홀략료불동류형작업대자원적불동수구,인차도치계통재탄토량화평균작업완성시간상성능저하.본문연구료다자원배경하공평조도산법재Hadoop중적실현,설계료일충다자원공평조도기MFS(Multi-resource Fair Scheduler).MFS채용료DRF(Dominant Resource Fairness)조도사상,사용수구향량래묘술작업대각류자원적수구,병안조수구향량중각자원적대소급작업분배자원.MFS능경가충분유효지사용계통적각류자원,병능만족불동류형작업대자원적불동수구.실험표명상비우기우삽조적Fair Scheduler여Capacity Scheduler,MFS제고료계통적탄토량,강저료평균작업완성시간.
