现代计算机(普及版)
現代計算機(普及版)
현대계산궤(보급판)
MODERN COMPUTER
2015年
3期
42-46
,共5页
Hadoop%节点性能%调度策略
Hadoop%節點性能%調度策略
Hadoop%절점성능%조도책략
Hadoop%Node Performance%Scheduler Strategy
针对Hadoop默认的任务调度分配算法不能根据集群中节点的性能进行动态的调整任务的问题,提出一种基于节点性能的动态任务调度策略。该策略根据节点的CPU使用率和内存使用率作为评价节点运行时性能的依据,根据节点的运行时性能好坏动态调整节点的任务分配数,从而达到集群中各节点运行在较好状态的效果。实验显示,该策略使集群的总任务完成时间缩减,有效提高集群的性能。
針對Hadoop默認的任務調度分配算法不能根據集群中節點的性能進行動態的調整任務的問題,提齣一種基于節點性能的動態任務調度策略。該策略根據節點的CPU使用率和內存使用率作為評價節點運行時性能的依據,根據節點的運行時性能好壞動態調整節點的任務分配數,從而達到集群中各節點運行在較好狀態的效果。實驗顯示,該策略使集群的總任務完成時間縮減,有效提高集群的性能。
침대Hadoop묵인적임무조도분배산법불능근거집군중절점적성능진행동태적조정임무적문제,제출일충기우절점성능적동태임무조도책략。해책략근거절점적CPU사용솔화내존사용솔작위평개절점운행시성능적의거,근거절점적운행시성능호배동태조정절점적임무분배수,종이체도집군중각절점운행재교호상태적효과。실험현시,해책략사집군적총임무완성시간축감,유효제고집군적성능。
The default task scheduling algorithm of Hadoop can not adjust the assignment of task according to the performance. Proposes a dynamic task scheduling strategy based on the node performance. The strategy uses the node CPU utilization and memory utilization as the basis of evaluating the node's runtime performance, then adjust the task number dynamic according to the basis, so each node in a cluster can work in the good state. Experiments results indicate that the strategy makes the total completion time of task clusters reduced significantly and improve the performance of the cluster.