大科技
大科技
대과기
Super Science
2015年
25期
269-270
,共2页
陈利军%李喜艳%吴崇正%任孝锋
陳利軍%李喜豔%吳崇正%任孝鋒
진리군%리희염%오숭정%임효봉
MapReduce%Hadoop%中间数据处理%狄克逊准则
MapReduce%Hadoop%中間數據處理%狄剋遜準則
MapReduce%Hadoop%중간수거처리%적극손준칙
传统的MapReduce编程模型在实际数据处理流程中,在Map阶段处理后的数据,生成的中间结果可能有的偏大,有的偏小,造成数据不均衡现象的出现,这样就会在某些Reduce节点上出现因分配数据过大而引起"累死"的现象,与此同时,有的节点因分配不到任务或者分配的任务较少,而出现"饿死"的情况.针对中间结果的不均衡问题,本文采用狄克逊(Dixon)准则改进MapReduce模型系统架构,实验证明该模型有一定的优化效果.
傳統的MapReduce編程模型在實際數據處理流程中,在Map階段處理後的數據,生成的中間結果可能有的偏大,有的偏小,造成數據不均衡現象的齣現,這樣就會在某些Reduce節點上齣現因分配數據過大而引起"纍死"的現象,與此同時,有的節點因分配不到任務或者分配的任務較少,而齣現"餓死"的情況.針對中間結果的不均衡問題,本文採用狄剋遜(Dixon)準則改進MapReduce模型繫統架構,實驗證明該模型有一定的優化效果.
전통적MapReduce편정모형재실제수거처리류정중,재Map계단처리후적수거,생성적중간결과가능유적편대,유적편소,조성수거불균형현상적출현,저양취회재모사Reduce절점상출현인분배수거과대이인기"루사"적현상,여차동시,유적절점인분배불도임무혹자분배적임무교소,이출현"아사"적정황.침대중간결과적불균형문제,본문채용적극손(Dixon)준칙개진MapReduce모형계통가구,실험증명해모형유일정적우화효과.
