深圳职业技术学院学报
深圳職業技術學院學報
심수직업기술학원학보
JOURNAL OF SHENZHEN POLYTECNIC
2014年
1期
7-10
,共4页
冯延蓬%仵博%孟宪军%何国坤%江建举
馮延蓬%仵博%孟憲軍%何國坤%江建舉
풍연봉%오박%맹헌군%하국곤%강건거
大数据%MapReduce%Markov决策过程%任务调度
大數據%MapReduce%Markov決策過程%任務調度
대수거%MapReduce%Markov결책과정%임무조도
针对大数据处理框架MapReduce中的任务调度问题,提出一种基于Markov决策过程(Markov Decision Process,MDP)的任务调度算法,通过状态集来描述集群中节点的负载和作业的数据本地性需求,使用状态转移函数表示调度策略对状态的影响,采用值迭代求解算法求取最优策略,实现集群中节点的最优调度.实验结果表明,该算法能够保证数据本地性的同时,减少作业响应时间,提高系统综合性能.
針對大數據處理框架MapReduce中的任務調度問題,提齣一種基于Markov決策過程(Markov Decision Process,MDP)的任務調度算法,通過狀態集來描述集群中節點的負載和作業的數據本地性需求,使用狀態轉移函數錶示調度策略對狀態的影響,採用值迭代求解算法求取最優策略,實現集群中節點的最優調度.實驗結果錶明,該算法能夠保證數據本地性的同時,減少作業響應時間,提高繫統綜閤性能.
침대대수거처리광가MapReduce중적임무조도문제,제출일충기우Markov결책과정(Markov Decision Process,MDP)적임무조도산법,통과상태집래묘술집군중절점적부재화작업적수거본지성수구,사용상태전이함수표시조도책략대상태적영향,채용치질대구해산법구취최우책략,실현집군중절점적최우조도.실험결과표명,해산법능구보증수거본지성적동시,감소작업향응시간,제고계통종합성능.
