科技创新导报
科技創新導報
과기창신도보
SCIENCE AND TECHNOLOGY CONSULTING HERALD
2014年
9期
193-194
,共2页
何涛%刘强%郑泽忠%刘帅
何濤%劉彊%鄭澤忠%劉帥
하도%류강%정택충%류수
MapRedue%选择查询%存储模型%Key/Value%矢量数据文件
MapRedue%選擇查詢%存儲模型%Key/Value%矢量數據文件
MapRedue%선택사순%존저모형%Key/Value%시량수거문건
为高效地处理大规模矢量空间数据,基于Hadoop的并行计算框架MapRedue,实现了一种分布式的矢量空间数据选择查询处理方法.首先,分析OGC简单要素标准与Hadoop的Key/Value数据模型,设计了可存储于Hadoop HDFS的矢量文件格式;其次,根据两阶段的过滤-精炼策略,对Map输入数据分片、选择查询处理过程及Reduce结果合并等关键步骤进行了详细阐述;最后,基于上述技术,利用Hadoop集群环境对所提出的方法进行验证,该方法具有较好的可行性和较高的效率.
為高效地處理大規模矢量空間數據,基于Hadoop的併行計算框架MapRedue,實現瞭一種分佈式的矢量空間數據選擇查詢處理方法.首先,分析OGC簡單要素標準與Hadoop的Key/Value數據模型,設計瞭可存儲于Hadoop HDFS的矢量文件格式;其次,根據兩階段的過濾-精煉策略,對Map輸入數據分片、選擇查詢處理過程及Reduce結果閤併等關鍵步驟進行瞭詳細闡述;最後,基于上述技術,利用Hadoop集群環境對所提齣的方法進行驗證,該方法具有較好的可行性和較高的效率.
위고효지처리대규모시량공간수거,기우Hadoop적병행계산광가MapRedue,실현료일충분포식적시량공간수거선택사순처리방법.수선,분석OGC간단요소표준여Hadoop적Key/Value수거모형,설계료가존저우Hadoop HDFS적시량문건격식;기차,근거량계단적과려-정련책략,대Map수입수거분편、선택사순처리과정급Reduce결과합병등관건보취진행료상세천술;최후,기우상술기술,이용Hadoop집군배경대소제출적방법진행험증,해방법구유교호적가행성화교고적효솔.
