计算机应用
計算機應用
계산궤응용
COMPUTER APPLICATION
2013年
z2期
57-59,127
,共4页
数据流程处理%数据汇聚%MapReduce%Hadoop%MapReduce查询语言
數據流程處理%數據彙聚%MapReduce%Hadoop%MapReduce查詢語言
수거류정처리%수거회취%MapReduce%Hadoop%MapReduce사순어언
data flow processing%data aggregation%MapReduce%Hadoop%MapReduce Query Language (MRQL)
处理效率是数据流程处理的重要指标,简单的单服务器结构已经难以适应海量数据的处理任务.为了能够完成海量数据的流程处理任务,简要介绍了Google的MapReduce的结构,Fegaras等剔除的MapReduce查询语言(MRQL),并基于MapReduce编程模型和MRQL提出了一种分布式数据汇聚方法.该方法借助MapReduce完成数据处理流程的执行,借助MRQL控制MapReduce.在XBus数据汇聚平台基础上,结合MapReduce和MRQL实现了MRXBus分布式数据汇聚平台,验证了该方法的可行性.实验表明,该方法可以减少大数据量的处理时间,提高处理效率.
處理效率是數據流程處理的重要指標,簡單的單服務器結構已經難以適應海量數據的處理任務.為瞭能夠完成海量數據的流程處理任務,簡要介紹瞭Google的MapReduce的結構,Fegaras等剔除的MapReduce查詢語言(MRQL),併基于MapReduce編程模型和MRQL提齣瞭一種分佈式數據彙聚方法.該方法藉助MapReduce完成數據處理流程的執行,藉助MRQL控製MapReduce.在XBus數據彙聚平檯基礎上,結閤MapReduce和MRQL實現瞭MRXBus分佈式數據彙聚平檯,驗證瞭該方法的可行性.實驗錶明,該方法可以減少大數據量的處理時間,提高處理效率.
처리효솔시수거류정처리적중요지표,간단적단복무기결구이경난이괄응해량수거적처리임무.위료능구완성해량수거적류정처리임무,간요개소료Google적MapReduce적결구,Fegaras등척제적MapReduce사순어언(MRQL),병기우MapReduce편정모형화MRQL제출료일충분포식수거회취방법.해방법차조MapReduce완성수거처리류정적집행,차조MRQL공제MapReduce.재XBus수거회취평태기출상,결합MapReduce화MRQL실현료MRXBus분포식수거회취평태,험증료해방법적가행성.실험표명,해방법가이감소대수거량적처리시간,제고처리효솔.
