计算机科学
計算機科學
계산궤과학
COMPUTER SCIENCE
2013年
3期
38-40
,共3页
MapReduce%TeraSort%负载均衡%周期性
MapReduce%TeraSort%負載均衡%週期性
MapReduce%TeraSort%부재균형%주기성
MapReduce任务负载均衡主要是通过分区函数来实现的,Hadoop默认的分区函数并不能很好地保证reducer的负载均衡.针对周期性的业务处理提出了一种基于权重计算的负载均衡策略,周期性任务的数据分布与历史数据相比具有相似性.本策略根据历史数据运行的信息运算出数据权重信息(文中用权重表示每条记录的处理复杂度),再通过Map阶段抽样分析当前这批数据的分布特征来预测待处理数据带权重的整体近似分布情况,从而指导Reduce分区,以保证其负载均衡.通过简单的例子仿真了整个策略的运作过程,并且对比了与TeraSort思路的不同点.最后通过分析用户访问视频的日志证明了文中提到的策略比默认的策略性能提高了接近1倍.
MapReduce任務負載均衡主要是通過分區函數來實現的,Hadoop默認的分區函數併不能很好地保證reducer的負載均衡.針對週期性的業務處理提齣瞭一種基于權重計算的負載均衡策略,週期性任務的數據分佈與歷史數據相比具有相似性.本策略根據歷史數據運行的信息運算齣數據權重信息(文中用權重錶示每條記錄的處理複雜度),再通過Map階段抽樣分析噹前這批數據的分佈特徵來預測待處理數據帶權重的整體近似分佈情況,從而指導Reduce分區,以保證其負載均衡.通過簡單的例子倣真瞭整箇策略的運作過程,併且對比瞭與TeraSort思路的不同點.最後通過分析用戶訪問視頻的日誌證明瞭文中提到的策略比默認的策略性能提高瞭接近1倍.
MapReduce임무부재균형주요시통과분구함수래실현적,Hadoop묵인적분구함수병불능흔호지보증reducer적부재균형.침대주기성적업무처리제출료일충기우권중계산적부재균형책략,주기성임무적수거분포여역사수거상비구유상사성.본책략근거역사수거운행적신식운산출수거권중신식(문중용권중표시매조기록적처리복잡도),재통과Map계단추양분석당전저비수거적분포특정래예측대처리수거대권중적정체근사분포정황,종이지도Reduce분구,이보증기부재균형.통과간단적례자방진료정개책략적운작과정,병차대비료여TeraSort사로적불동점.최후통과분석용호방문시빈적일지증명료문중제도적책략비묵인적책략성능제고료접근1배.
