气象科技
氣象科技
기상과기
Meteorological Science and Technology
2015年
5期
823-828
,共6页
肖卫青%杨润芝%胡开喜%林润生%刘立明%谷军霞
肖衛青%楊潤芝%鬍開喜%林潤生%劉立明%穀軍霞
초위청%양윤지%호개희%림윤생%류립명%곡군하
Hadoop%HDFS%MapReduce%气象数据%数据密集型计算
Hadoop%HDFS%MapReduce%氣象數據%數據密集型計算
Hadoop%HDFS%MapReduce%기상수거%수거밀집형계산
Hadoop%HDFS%MapReduce%meteorological data%data intensive
气象资料的统计分析计算属于数据密集型计算,目前的处理方式多为单机处理,对大量数据的处理比较慢,难以应对日益增长的数据,对气象资料的研究形成一定的制约.针对数据密集型气象数据的处理,尝试应用Hadoop的MapReduce思想提高计算效率;对Hadoop在处理大量小文件组成的气象数据时的低效率,提出对原始文件进行预处理,将多个小文件整合成能直接用于计算的大文件.试验证明,该方法解决了Hadoop处理大量小文件时的低效率问题,通过与Oracle入库检索的比较,应用Hadoop处理数据密集型气象资料具有实际意义.
氣象資料的統計分析計算屬于數據密集型計算,目前的處理方式多為單機處理,對大量數據的處理比較慢,難以應對日益增長的數據,對氣象資料的研究形成一定的製約.針對數據密集型氣象數據的處理,嘗試應用Hadoop的MapReduce思想提高計算效率;對Hadoop在處理大量小文件組成的氣象數據時的低效率,提齣對原始文件進行預處理,將多箇小文件整閤成能直接用于計算的大文件.試驗證明,該方法解決瞭Hadoop處理大量小文件時的低效率問題,通過與Oracle入庫檢索的比較,應用Hadoop處理數據密集型氣象資料具有實際意義.
기상자료적통계분석계산속우수거밀집형계산,목전적처리방식다위단궤처리,대대량수거적처리비교만,난이응대일익증장적수거,대기상자료적연구형성일정적제약.침대수거밀집형기상수거적처리,상시응용Hadoop적MapReduce사상제고계산효솔;대Hadoop재처리대량소문건조성적기상수거시적저효솔,제출대원시문건진행예처리,장다개소문건정합성능직접용우계산적대문건.시험증명,해방법해결료Hadoop처리대량소문건시적저효솔문제,통과여Oracle입고검색적비교,응용Hadoop처리수거밀집형기상자료구유실제의의.
