计算机研究与发展
計算機研究與髮展
계산궤연구여발전
JOURNAL OF COMPUTER RESEARCH AND DEVELOPMENT
2010年
z1期
146-153
,共8页
MapReduce%散列连接%星型连接%索引%优化
MapReduce%散列連接%星型連接%索引%優化
MapReduce%산렬련접%성형련접%색인%우화
随着现代应用中数据规模的迅速增长,以及复杂处理要求的出现,传统的集中式和分布式数据处理技术已经不能满足需要;而大规模集群由于具有可伸缩性、高可用性、容错性的优势,逐渐为数据密集型应用所广泛使用.这里针对大规模集群上数据连接(join)操作的效率问题:1)分析了基于Map/Reduce框架的连接操作实现的效率瓶颈;2)提出了一种采用预散列(hash)的连接操作实现技术;3)研究了针对星型连接的优化技术.代价模型分析与实验显示,此处提出的方法能够有效提高连接操作的效率.
隨著現代應用中數據規模的迅速增長,以及複雜處理要求的齣現,傳統的集中式和分佈式數據處理技術已經不能滿足需要;而大規模集群由于具有可伸縮性、高可用性、容錯性的優勢,逐漸為數據密集型應用所廣汎使用.這裏針對大規模集群上數據連接(join)操作的效率問題:1)分析瞭基于Map/Reduce框架的連接操作實現的效率瓶頸;2)提齣瞭一種採用預散列(hash)的連接操作實現技術;3)研究瞭針對星型連接的優化技術.代價模型分析與實驗顯示,此處提齣的方法能夠有效提高連接操作的效率.
수착현대응용중수거규모적신속증장,이급복잡처리요구적출현,전통적집중식화분포식수거처리기술이경불능만족수요;이대규모집군유우구유가신축성、고가용성、용착성적우세,축점위수거밀집형응용소엄범사용.저리침대대규모집군상수거련접(join)조작적효솔문제:1)분석료기우Map/Reduce광가적련접조작실현적효솔병경;2)제출료일충채용예산렬(hash)적련접조작실현기술;3)연구료침대성형련접적우화기술.대개모형분석여실험현시,차처제출적방법능구유효제고련접조작적효솔.
