计算机研究与发展
計算機研究與髮展
계산궤연구여발전
JOURNAL OF COMPUTER RESEARCH AND DEVELOPMENT
2014年
3期
618-626
,共9页
郑晓薇%项明%张大为%刘青昆
鄭曉薇%項明%張大為%劉青昆
정효미%항명%장대위%류청곤
Hadoop集群%任务级调度方法%执行能力%节点能力%自适应
Hadoop集群%任務級調度方法%執行能力%節點能力%自適應
Hadoop집군%임무급조도방법%집행능력%절점능력%자괄응
Hadoop cluster%task-level scheduling method%implementation capacity%node capability%adaptive
针对当前Hadoop集群固有的任务级调度分配方法在运行中存在的负载分布不均的现象,着重对集群节点的执行能力进行了分析与研究.提出了一种基于节点能力的任务自适应调度分配方法.该方法根据节点历史和当前的负载状态,以节点性能、任务特征、节点失效率等作为节点任务量调度分配的依据,并使各节点能自适应地对运行的任务量进行调整.实验结果表明集群的总任务完成时间明显地缩减,各节点的负载更加均衡,节点资源的利用更为合理.
針對噹前Hadoop集群固有的任務級調度分配方法在運行中存在的負載分佈不均的現象,著重對集群節點的執行能力進行瞭分析與研究.提齣瞭一種基于節點能力的任務自適應調度分配方法.該方法根據節點歷史和噹前的負載狀態,以節點性能、任務特徵、節點失效率等作為節點任務量調度分配的依據,併使各節點能自適應地對運行的任務量進行調整.實驗結果錶明集群的總任務完成時間明顯地縮減,各節點的負載更加均衡,節點資源的利用更為閤理.
침대당전Hadoop집군고유적임무급조도분배방법재운행중존재적부재분포불균적현상,착중대집군절점적집행능력진행료분석여연구.제출료일충기우절점능력적임무자괄응조도분배방법.해방법근거절점역사화당전적부재상태,이절점성능、임무특정、절점실효솔등작위절점임무량조도분배적의거,병사각절점능자괄응지대운행적임무량진행조정.실험결과표명집군적총임무완성시간명현지축감,각절점적부재경가균형,절점자원적이용경위합리.
