高技术通讯
高技術通訊
고기술통신
HIGH TECHNOLOGY LETTERS
2009年
10期
991-997
,共7页
刘旭辉%韩冀中%贺劲%韩承德
劉旭輝%韓冀中%賀勁%韓承德
류욱휘%한기중%하경%한승덕
网络地理信息系统(WebGIS)%集群%分布式文件系统(DFS)%MapReduce%小文件优化
網絡地理信息繫統(WebGIS)%集群%分佈式文件繫統(DFS)%MapReduce%小文件優化
망락지리신식계통(WebGIS)%집군%분포식문건계통(DFS)%MapReduce%소문건우화
为了解决单节点的WebGIS系统存储能力和计算能力受限的问题,提出了一种利用分布式文件系统(DFS)和MapReduce分布式计算框架在集群环境中并行处理空间数据的方法.还特别针对分布式文件系统,结合WebGIS的应用模式,提出了小文件优化策略.该策略的核心思想是通过将小文件合并为大文件来有效降低文件的数目.试验结果表明,在使用了小文件优化策略后,分布式文件系统中的节点平均内存占用率从55.78%降至18.36%,文件的存储和读取性能分别提高了63.3倍和2.0倍.其次,基于经过优化后的分布式文件系统和MapReduce计算框架,设计并且实现了HDWebGIS原型系统,试验结果表明,使用了小文件优化策略后,HDWebGIS系统性能比优化前提升了78.11%.
為瞭解決單節點的WebGIS繫統存儲能力和計算能力受限的問題,提齣瞭一種利用分佈式文件繫統(DFS)和MapReduce分佈式計算框架在集群環境中併行處理空間數據的方法.還特彆針對分佈式文件繫統,結閤WebGIS的應用模式,提齣瞭小文件優化策略.該策略的覈心思想是通過將小文件閤併為大文件來有效降低文件的數目.試驗結果錶明,在使用瞭小文件優化策略後,分佈式文件繫統中的節點平均內存佔用率從55.78%降至18.36%,文件的存儲和讀取性能分彆提高瞭63.3倍和2.0倍.其次,基于經過優化後的分佈式文件繫統和MapReduce計算框架,設計併且實現瞭HDWebGIS原型繫統,試驗結果錶明,使用瞭小文件優化策略後,HDWebGIS繫統性能比優化前提升瞭78.11%.
위료해결단절점적WebGIS계통존저능력화계산능력수한적문제,제출료일충이용분포식문건계통(DFS)화MapReduce분포식계산광가재집군배경중병행처리공간수거적방법.환특별침대분포식문건계통,결합WebGIS적응용모식,제출료소문건우화책략.해책략적핵심사상시통과장소문건합병위대문건래유효강저문건적수목.시험결과표명,재사용료소문건우화책략후,분포식문건계통중적절점평균내존점용솔종55.78%강지18.36%,문건적존저화독취성능분별제고료63.3배화2.0배.기차,기우경과우화후적분포식문건계통화MapReduce계산광가,설계병차실현료HDWebGIS원형계통,시험결과표명,사용료소문건우화책략후,HDWebGIS계통성능비우화전제승료78.11%.
