电子制作
電子製作
전자제작
ELECTRONICS DIY
2014年
11期
66-67
,共2页
海量数据%MapReduce%分布式%Hadoop
海量數據%MapReduce%分佈式%Hadoop
해량수거%MapReduce%분포식%Hadoop
针对海量数据处理问题,本文提出了一种基于MapReduce的数据处理模型, MapReduce编程模型具有高性价比和简单性的优点,MapReduce模型适用于海量数据的并行处理。该模型中取消了Reduce处理函数,Map函数处理完成后将直接输出处理结果,有效避免了Reduce函数及其任务处理所需的时间,并减少了Map与Reduce阶段之间操作所消耗的时间。该设计思想在基于Hadoop伪分布式云平台上进行了仿真实验,实现了文中提出的并行处理模型。
針對海量數據處理問題,本文提齣瞭一種基于MapReduce的數據處理模型, MapReduce編程模型具有高性價比和簡單性的優點,MapReduce模型適用于海量數據的併行處理。該模型中取消瞭Reduce處理函數,Map函數處理完成後將直接輸齣處理結果,有效避免瞭Reduce函數及其任務處理所需的時間,併減少瞭Map與Reduce階段之間操作所消耗的時間。該設計思想在基于Hadoop偽分佈式雲平檯上進行瞭倣真實驗,實現瞭文中提齣的併行處理模型。
침대해량수거처리문제,본문제출료일충기우MapReduce적수거처리모형, MapReduce편정모형구유고성개비화간단성적우점,MapReduce모형괄용우해량수거적병행처리。해모형중취소료Reduce처리함수,Map함수처리완성후장직접수출처리결과,유효피면료Reduce함수급기임무처리소수적시간,병감소료Map여Reduce계단지간조작소소모적시간。해설계사상재기우Hadoop위분포식운평태상진행료방진실험,실현료문중제출적병행처리모형。