计算机科学与探索
計算機科學與探索
계산궤과학여탐색
JOURNAL OF FRONTIERS OF COMPUTER SCIENCE & TECHNOLOGY
2011年
5期
398-409
,共12页
师金钢%鲍玉斌%冷芳玲%于戈
師金鋼%鮑玉斌%冷芳玲%于戈
사금강%포옥빈%랭방령%우과
数据密集计算%MapReduce%Dwarf%数据立方
數據密集計算%MapReduce%Dwarf%數據立方
수거밀집계산%MapReduce%Dwarf%수거립방
针对数据密集型应用,提出了一种基于MapReduce框架的并行Dwarf数据立方构建算法.算法将传统Dwarf立方等价分割为多个独立的子Dwarf立方,采用MapReduce架构,实现了Dwarf立方的并行构建、查询和更新.实验证明,并行Dwarf算法一方面结合了MapReduce框架的并行性和高可扩展性,另一方面结合了Dwarf立方结构的数据高压缩性及数据自索引性.并行Dwarf立方既实现了数据立方的高压缩存储,提供了快速的构造和增量更新操作,又克服了MapReduce机制没有索引的劣势,实现了数据立方上的快速查询操作.
針對數據密集型應用,提齣瞭一種基于MapReduce框架的併行Dwarf數據立方構建算法.算法將傳統Dwarf立方等價分割為多箇獨立的子Dwarf立方,採用MapReduce架構,實現瞭Dwarf立方的併行構建、查詢和更新.實驗證明,併行Dwarf算法一方麵結閤瞭MapReduce框架的併行性和高可擴展性,另一方麵結閤瞭Dwarf立方結構的數據高壓縮性及數據自索引性.併行Dwarf立方既實現瞭數據立方的高壓縮存儲,提供瞭快速的構造和增量更新操作,又剋服瞭MapReduce機製沒有索引的劣勢,實現瞭數據立方上的快速查詢操作.
침대수거밀집형응용,제출료일충기우MapReduce광가적병행Dwarf수거립방구건산법.산법장전통Dwarf립방등개분할위다개독립적자Dwarf립방,채용MapReduce가구,실현료Dwarf립방적병행구건、사순화경신.실험증명,병행Dwarf산법일방면결합료MapReduce광가적병행성화고가확전성,령일방면결합료Dwarf립방결구적수거고압축성급수거자색인성.병행Dwarf립방기실현료수거립방적고압축존저,제공료쾌속적구조화증량경신조작,우극복료MapReduce궤제몰유색인적열세,실현료수거립방상적쾌속사순조작.
