计算机应用
計算機應用
계산궤응용
COMPUTER APPLICATION
2014年
4期
1010-1013,1018
,共5页
云计算%调度算法%Hadoop%MapReduce%先进先出
雲計算%調度算法%Hadoop%MapReduce%先進先齣
운계산%조도산법%Hadoop%MapReduce%선진선출
cloud computing%scheduling algorithm%Hadoop%MapReduce%First-In First-Out (FIFO)
基于开源云计算平台Hadoop的MapReduce是当前流行的分布式计算框架之一,然而其先进先出(FIFO)调度算法存在资源利用效率低下的问题.提出了一种基于资源匹配规则的MapReduce任务调度模型并进行了算法实现.该调度模型通过获取任务的资源需求与计算节点的剩余资源,依据资源的匹配性进行任务分配,提高了系统的资源使用效率.首先对MapReduce的调度过程进行建模,提出了资源及匹配度的量化定义和相应的计算公式;然后给出了资源测量的具体方法及算法实现;最后利用TeraSort、GrepCount和WordCount任务与FIFO调度算法进行实验对比,实验结果显示,最好的情况下,提出的调度模型任务完成时间减少了22.19％,而最差情况下的吞吐量也提高了25.39％.
基于開源雲計算平檯Hadoop的MapReduce是噹前流行的分佈式計算框架之一,然而其先進先齣(FIFO)調度算法存在資源利用效率低下的問題.提齣瞭一種基于資源匹配規則的MapReduce任務調度模型併進行瞭算法實現.該調度模型通過穫取任務的資源需求與計算節點的剩餘資源,依據資源的匹配性進行任務分配,提高瞭繫統的資源使用效率.首先對MapReduce的調度過程進行建模,提齣瞭資源及匹配度的量化定義和相應的計算公式;然後給齣瞭資源測量的具體方法及算法實現;最後利用TeraSort、GrepCount和WordCount任務與FIFO調度算法進行實驗對比,實驗結果顯示,最好的情況下,提齣的調度模型任務完成時間減少瞭22.19％,而最差情況下的吞吐量也提高瞭25.39％.
기우개원운계산평태Hadoop적MapReduce시당전류행적분포식계산광가지일,연이기선진선출(FIFO)조도산법존재자원이용효솔저하적문제.제출료일충기우자원필배규칙적MapReduce임무조도모형병진행료산법실현.해조도모형통과획취임무적자원수구여계산절점적잉여자원,의거자원적필배성진행임무분배,제고료계통적자원사용효솔.수선대MapReduce적조도과정진행건모,제출료자원급필배도적양화정의화상응적계산공식;연후급출료자원측량적구체방법급산법실현;최후이용TeraSort、GrepCount화WordCount임무여FIFO조도산법진행실험대비,실험결과현시,최호적정황하,제출적조도모형임무완성시간감소료22.19％,이최차정황하적탄토량야제고료25.39％.
