计算机工程与应用
計算機工程與應用
계산궤공정여응용
Computer Engineering and Applications
2015年
21期
64-69
,共6页
MapReduce工作负载%优化%数据流依赖%资源依赖%工作流优化器
MapReduce工作負載%優化%數據流依賴%資源依賴%工作流優化器
MapReduce공작부재%우화%수거류의뢰%자원의뢰%공작류우화기
MapReduce workloads%optimization%dataflow dependencies%resource dependencies%workflow optimizer
对MapReduce栈的不同层进行优化有各自的优缺点。针对MapReduce工作负载的优化问题，提出了相关概念；通过与RoT的对比，介绍了MapReduce工作基于成本的优化及所使用的相关技术，并对MapReduce基于成本的优化进行了评估；基于工作流中的数据流依赖和资源依赖关系，提出了三种工作流优化器，评估了基于成本的工作流优化，并对工作流优化器进行了终端-对-终端的评估；通过实验评估了工作流优化器的优化开销并对这三种工作流优化器的优缺点进行了对比分析。
對MapReduce棧的不同層進行優化有各自的優缺點。針對MapReduce工作負載的優化問題，提齣瞭相關概唸；通過與RoT的對比，介紹瞭MapReduce工作基于成本的優化及所使用的相關技術，併對MapReduce基于成本的優化進行瞭評估；基于工作流中的數據流依賴和資源依賴關繫，提齣瞭三種工作流優化器，評估瞭基于成本的工作流優化，併對工作流優化器進行瞭終耑-對-終耑的評估；通過實驗評估瞭工作流優化器的優化開銷併對這三種工作流優化器的優缺點進行瞭對比分析。
대MapReduce잔적불동층진행우화유각자적우결점。침대MapReduce공작부재적우화문제，제출료상관개념；통과여RoT적대비，개소료MapReduce공작기우성본적우화급소사용적상관기술，병대MapReduce기우성본적우화진행료평고；기우공작류중적수거류의뢰화자원의뢰관계，제출료삼충공작류우화기，평고료기우성본적공작류우화，병대공작류우화기진행료종단-대-종단적평고；통과실험평고료공작류우화기적우화개소병대저삼충공작류우화기적우결점진행료대비분석。
Optimizations at different levels of the MapReduce stack have their advantages and disadvantages. For MapReduce workload optimization problem, related concepts are proposed;cost-based optimization approaches and related technology of MapReduce jobs are introduced and assessed through comparation with RoT;three MapReduce workflow optimizers are presented for cost-based optimization of MapReduce workflows based on dataflow and resource dependencies. Cost-based workflow optimization is evaluated. End-to-end evaluation of the workflow optimizer is described;the advantages and disad-vantages of these three workflow optimizers are analyzed through experimental evaluation of their overhead.
