计算机技术与发展
計算機技術與髮展
계산궤기술여발전
COMPUTER TECHNOLOGY AND DEVELOPMENT
2014年
9期
198-201,205
,共5页
云计算%数据仓库%MapReduce%ETL
雲計算%數據倉庫%MapReduce%ETL
운계산%수거창고%MapReduce%ETL
cloud computing%data warehouse%MapReduce%ETL
云计算、物联网、大数据等新兴信息技术的发展与应用在提高景区信息化服务水平的同时,也对景区海量信息资源的有效利用提出了严峻挑战。面对超大规模、非结构化的海量数据,传统的基于关系型数据库的数据仓库已很难有效支持景区的数据存储与分析工作。基于此文中提出了一种基于云计算技术的景区数据仓库,通过采用HDFS对数据进行分布式存储管理,利用MapReduce设计海量数据的分析模式,使用HiveQL语言实现数据仓库与前端表现层的交互,能够有效解决景区海量数据的数据管理问题。以黄山风景区为实际背景的实验结果表明了该数据仓库的正确性和有效性。
雲計算、物聯網、大數據等新興信息技術的髮展與應用在提高景區信息化服務水平的同時,也對景區海量信息資源的有效利用提齣瞭嚴峻挑戰。麵對超大規模、非結構化的海量數據,傳統的基于關繫型數據庫的數據倉庫已很難有效支持景區的數據存儲與分析工作。基于此文中提齣瞭一種基于雲計算技術的景區數據倉庫,通過採用HDFS對數據進行分佈式存儲管理,利用MapReduce設計海量數據的分析模式,使用HiveQL語言實現數據倉庫與前耑錶現層的交互,能夠有效解決景區海量數據的數據管理問題。以黃山風景區為實際揹景的實驗結果錶明瞭該數據倉庫的正確性和有效性。
운계산、물련망、대수거등신흥신식기술적발전여응용재제고경구신식화복무수평적동시,야대경구해량신식자원적유효이용제출료엄준도전。면대초대규모、비결구화적해량수거,전통적기우관계형수거고적수거창고이흔난유효지지경구적수거존저여분석공작。기우차문중제출료일충기우운계산기술적경구수거창고,통과채용HDFS대수거진행분포식존저관리,이용MapReduce설계해량수거적분석모식,사용HiveQL어언실현수거창고여전단표현층적교호,능구유효해결경구해량수거적수거관리문제。이황산풍경구위실제배경적실험결과표명료해수거창고적정학성화유효성。
The emergence of new information technologies,such as cloud computing,internet of things,big data,etc,greatly enhances the level of area of information technology services. However,how to effectively utilize the scenic area of information resources is a great challenge. Faced large scale and unstructured mass data,the data warehouse based on the traditional relational database has been difficult to effectively support the data storage and analysis in scenic area. Based on this,propose a scenic area data warehouse based on cloud computing technology,adopting HDFS for distributed storage of data, using MapReduce to design massive data analysis model, with HiveQL language to implement the interaction between data warehouse and front-end presentation layer,which can solve the data man-agement problem of massive data in scenic area. Taking Huangshan as example,the experimental results indicate the data warehouse is correct and feasible.