重庆理工大学学报（自然科学版）
重慶理工大學學報（自然科學版）
중경리공대학학보（자연과학판）
Journal of Chongqing Institute of Technology
2015年
7期
69-73
,共5页
王缓缓%郭敬义%张警灿%余肖生
王緩緩%郭敬義%張警燦%餘肖生
왕완완%곽경의%장경찬%여초생
云计算%大数据%数据仓库%Hadoop%ETL
雲計算%大數據%數據倉庫%Hadoop%ETL
운계산%대수거%수거창고%Hadoop%ETL
cloud computing%big data%data warehouse%Hadoop%ETL
针对目前基于Hadoop的数据仓库一般采用“一对一”的模式或方法构建的情况,首先通过实例分析其不足之处;然后借鉴软件工程中的“生成器”设计模式的思想,提出一种Hadoop数据仓库的构建模式,称为“元数据驱动的生成器模式”,用于构建基于Hadoop的数据仓库,即ETL过程.该模式具有两点优势:一是由元数据驱动,充分发挥了关系数据库管理系统对元数据操作的效率优势;二是识别了“通用知识”和“具体对象知识”两类知识,并在对知识的分类基础上设计和实现ETL过程,消除了“一对一”模式下大量不必要的重复操作.
針對目前基于Hadoop的數據倉庫一般採用“一對一”的模式或方法構建的情況,首先通過實例分析其不足之處;然後藉鑒軟件工程中的“生成器”設計模式的思想,提齣一種Hadoop數據倉庫的構建模式,稱為“元數據驅動的生成器模式”,用于構建基于Hadoop的數據倉庫,即ETL過程.該模式具有兩點優勢:一是由元數據驅動,充分髮揮瞭關繫數據庫管理繫統對元數據操作的效率優勢;二是識彆瞭“通用知識”和“具體對象知識”兩類知識,併在對知識的分類基礎上設計和實現ETL過程,消除瞭“一對一”模式下大量不必要的重複操作.
침대목전기우Hadoop적수거창고일반채용“일대일”적모식혹방법구건적정황,수선통과실례분석기불족지처;연후차감연건공정중적“생성기”설계모식적사상,제출일충Hadoop수거창고적구건모식,칭위“원수거구동적생성기모식”,용우구건기우Hadoop적수거창고,즉ETL과정.해모식구유량점우세:일시유원수거구동,충분발휘료관계수거고관리계통대원수거조작적효솔우세;이시식별료“통용지식”화“구체대상지식”량류지식,병재대지식적분류기출상설계화실현ETL과정,소제료“일대일”모식하대량불필요적중복조작.
