小型微型计算机系统
小型微型計算機繫統
소형미형계산궤계통
MINI-MICRO SYSTEMS
2013年
2期
287-292
,共6页
云计算%异构资源%MapReduce%Hadoop
雲計算%異構資源%MapReduce%Hadoop
운계산%이구자원%MapReduce%Hadoop
针对现有Hadoop难以适应异构资源环境的不足,提出一种自适应MapReduce调度器:CloudMR.基于数据局部性,CloudMR将同一机架内的<key,value>对进行本地归约合并,减少中间结果中<key,value>对的数目,从而减少机架间的数据传送.根据资源性能和任务特征,CloudMR动态确定节点任务槽数和数据分配量.对于计算性能高的节点,CloudMR分配较多的任务和数据量,而对于计算性能低的节点,相应地减轻任务和数据量负载.实验表明,在异构环境下,较之现有Hadoop,CloudMR减少了节点间数据传输和备份任务运行,缩短了作业完成时间.
針對現有Hadoop難以適應異構資源環境的不足,提齣一種自適應MapReduce調度器:CloudMR.基于數據跼部性,CloudMR將同一機架內的<key,value>對進行本地歸約閤併,減少中間結果中<key,value>對的數目,從而減少機架間的數據傳送.根據資源性能和任務特徵,CloudMR動態確定節點任務槽數和數據分配量.對于計算性能高的節點,CloudMR分配較多的任務和數據量,而對于計算性能低的節點,相應地減輕任務和數據量負載.實驗錶明,在異構環境下,較之現有Hadoop,CloudMR減少瞭節點間數據傳輸和備份任務運行,縮短瞭作業完成時間.
침대현유Hadoop난이괄응이구자원배경적불족,제출일충자괄응MapReduce조도기:CloudMR.기우수거국부성,CloudMR장동일궤가내적<key,value>대진행본지귀약합병,감소중간결과중<key,value>대적수목,종이감소궤가간적수거전송.근거자원성능화임무특정,CloudMR동태학정절점임무조수화수거분배량.대우계산성능고적절점,CloudMR분배교다적임무화수거량,이대우계산성능저적절점,상응지감경임무화수거량부재.실험표명,재이구배경하,교지현유Hadoop,CloudMR감소료절점간수거전수화비빈임무운행,축단료작업완성시간.
