信息技术与信息化
信息技術與信息化
신식기술여신식화
Information Technology & Informatization
2015年
6期
215-218
,共4页
Hadoop%并行计算%计算性能%海量数据
Hadoop%併行計算%計算性能%海量數據
Hadoop%병행계산%계산성능%해량수거
作为Apache开源项目的Hadoop,凭借着它的两大核心技术:HDFS和MapReduce,常被应用于海量数据的分布式存储和高并发计算,以发掘海量数据中隐藏的商业价值.本文通过在海量日志文件处理的过程中,对Hadoop的计算性能进行调优,主要涉及MapReduce应用编程的优化和MapReduce配置参数优化两个方面.最后,通过对实验数据的分析总结,给出Hadoop计算性能优化的参考.
作為Apache開源項目的Hadoop,憑藉著它的兩大覈心技術:HDFS和MapReduce,常被應用于海量數據的分佈式存儲和高併髮計算,以髮掘海量數據中隱藏的商業價值.本文通過在海量日誌文件處理的過程中,對Hadoop的計算性能進行調優,主要涉及MapReduce應用編程的優化和MapReduce配置參數優化兩箇方麵.最後,通過對實驗數據的分析總結,給齣Hadoop計算性能優化的參攷.
작위Apache개원항목적Hadoop,빙차착타적량대핵심기술:HDFS화MapReduce,상피응용우해량수거적분포식존저화고병발계산,이발굴해량수거중은장적상업개치.본문통과재해량일지문건처리적과정중,대Hadoop적계산성능진행조우,주요섭급MapReduce응용편정적우화화MapReduce배치삼수우화량개방면.최후,통과대실험수거적분석총결,급출Hadoop계산성능우화적삼고.
