微型电脑应用
微型電腦應用
미형전뇌응용
MICROCOMPUTER APPLICATIONS
2015年
8期
65-67
,共3页
大数据计算%遥感数据%Hadoop%Spark%MapReduce
大數據計算%遙感數據%Hadoop%Spark%MapReduce
대수거계산%요감수거%Hadoop%Spark%MapReduce
@@
随着遥感技术的快速发展,遥感数据呈爆炸式增长,给遥感数据计算带来巨大的挑战.采用基于内存计算的Spark分布式计算框架以克服该问题,并选择YARN作为资源调度系统和采用HDFS为分布式存储系统.Spark是一个开源的分布式计算框架,基于弹性分布式数据集(RDD)概念,采用先进的有向无环图执行机制以支持循环数据流操作,通过一次数据导入内存就可以完成多次迭代运算.因而,特别适合基于多次迭代的大数据计算分析方法,相较于每轮迭代需把数据导入内存的MapReduce有更大的优势.将该计算框架应用于海量遥感数据分析,验证需要多次迭代的奇异值分解(SVD)算法在该数据分析中的有效性.实验表明,随着迭代次数增加,基于Spark的SVD运算效率相对于MapReduce有明显提高,通常可提高一个数量级.
隨著遙感技術的快速髮展,遙感數據呈爆炸式增長,給遙感數據計算帶來巨大的挑戰.採用基于內存計算的Spark分佈式計算框架以剋服該問題,併選擇YARN作為資源調度繫統和採用HDFS為分佈式存儲繫統.Spark是一箇開源的分佈式計算框架,基于彈性分佈式數據集(RDD)概唸,採用先進的有嚮無環圖執行機製以支持循環數據流操作,通過一次數據導入內存就可以完成多次迭代運算.因而,特彆適閤基于多次迭代的大數據計算分析方法,相較于每輪迭代需把數據導入內存的MapReduce有更大的優勢.將該計算框架應用于海量遙感數據分析,驗證需要多次迭代的奇異值分解(SVD)算法在該數據分析中的有效性.實驗錶明,隨著迭代次數增加,基于Spark的SVD運算效率相對于MapReduce有明顯提高,通常可提高一箇數量級.
수착요감기술적쾌속발전,요감수거정폭작식증장,급요감수거계산대래거대적도전.채용기우내존계산적Spark분포식계산광가이극복해문제,병선택YARN작위자원조도계통화채용HDFS위분포식존저계통.Spark시일개개원적분포식계산광가,기우탄성분포식수거집(RDD)개념,채용선진적유향무배도집행궤제이지지순배수거류조작,통과일차수거도입내존취가이완성다차질대운산.인이,특별괄합기우다차질대적대수거계산분석방법,상교우매륜질대수파수거도입내존적MapReduce유경대적우세.장해계산광가응용우해량요감수거분석,험증수요다차질대적기이치분해(SVD)산법재해수거분석중적유효성.실험표명,수착질대차수증가,기우Spark적SVD운산효솔상대우MapReduce유명현제고,통상가제고일개수량급.
