CAJ | 학술논문

近年来,随着计算机技术的发展及其在互联网、传感器和科学数据分析等领域的广泛应用,数据量爆炸性地增长,海量数据给传统的数据管理和分析带来新的挑战,学界和业界广泛采用分布式文件系统和MapReduce编程模型来应对这一挑战.介绍了HaoLap(Hadoop based OLAP),一种基于Hadoop分布式文件系统(HDFS)和MapReduce编程模型的海量数据OLAP系统.本研究吸取了MOLAP的经验:采用元数据存储多维模型以及HDFS存储事实数据,采用编码完成维和事实数据的映射,采用MapReduce完成OLAP运算.描述了HaoLap的关键技术,包括系统结构、维定义和编码、事实数据存储和编码、OLAP算法和服务接口.介绍了HaoLap在科学数据分析的应用案例,并与主流非关系数据管理系统进行性能对比.实验结果表明,尽管数据装载性能略显不足,但HaoLap的OLAP性能要优于HBase,Hive,HadoopDB等主流非关系数据管理系统.
근년래,수착계산궤기술적발전급기재호련망、전감기화과학수거분석등영역적엄범응용,수거량폭작성지증장,해량수거급전통적수거관리화분석대래신적도전,학계화업계엄범채용분포식문건계통화MapReduce편정모형래응대저일도전.개소료HaoLap(Hadoop based OLAP),일충기우Hadoop분포식문건계통(HDFS)화MapReduce편정모형적해량수거OLAP계통.본연구흡취료MOLAP적경험:채용원수거존저다유모형이급HDFS존저사실수거,채용편마완성유화사실수거적영사,채용MapReduce완성OLAP운산.묘술료HaoLap적관건기술,포괄계통결구、유정의화편마、사실수거존저화편마、OLAP산법화복무접구.개소료HaoLap재과학수거분석적응용안례,병여주류비관계수거관리계통진행성능대비.실험결과표명,진관수거장재성능략현불족,단HaoLap적OLAP성능요우우HBase,Hive,HadoopDB등주류비관계수거관리계통.