软件学报
軟件學報
연건학보
JOURNAL OF SOFTWARE
2012年
1期
32-45
,共14页
覃雄派%王会举%杜小勇%王珊
覃雄派%王會舉%杜小勇%王珊
담웅파%왕회거%두소용%왕산
大数据%深度分析%关系数据管理技术%MapReduce
大數據%深度分析%關繫數據管理技術%MapReduce
대수거%심도분석%관계수거관리기술%MapReduce
在科学研究、计算机仿真、互联网应用、电子商务等诸多应用领域,数据量正在以极快的速度增长,为了分析和利用这些庞大的数据资源,必须依赖有效的数据分析技术.传统的关系数据管理技术(并行数据库)经过了将近40年的发展,在扩展性方面遇到了巨大的障碍,无法胜任大数据分析的任务;而以MapReduce为代表的非关系数据管理和分析技术异军突起,以其良好的扩展性、容错性和大规模并行处理的优势,从互联网信息搜索领域开始,进而在数据分析的诸多领域和关系数据管理技术展开了竞争.关系数据管理技术阵营在丧失搜索这个阵地之后,开始考虑自身的局限性,不断借鉴MapReduce的优秀思想改造自身,而以MapReduce为代表的非关系数据管理技术阵营,从关系数据管理技术所积累的宝贵财富中挖掘可以借鉴的技术和方法,不断解决其性能问题.面向大数据的深度分析需求,新的架构模式正在涌现.关系数据管理技术和非关系数据管理技术在不断的竞争中互相取长补短,在新的大数据分析生态系统内找到自己的位置.
在科學研究、計算機倣真、互聯網應用、電子商務等諸多應用領域,數據量正在以極快的速度增長,為瞭分析和利用這些龐大的數據資源,必鬚依賴有效的數據分析技術.傳統的關繫數據管理技術(併行數據庫)經過瞭將近40年的髮展,在擴展性方麵遇到瞭巨大的障礙,無法勝任大數據分析的任務;而以MapReduce為代錶的非關繫數據管理和分析技術異軍突起,以其良好的擴展性、容錯性和大規模併行處理的優勢,從互聯網信息搜索領域開始,進而在數據分析的諸多領域和關繫數據管理技術展開瞭競爭.關繫數據管理技術陣營在喪失搜索這箇陣地之後,開始攷慮自身的跼限性,不斷藉鑒MapReduce的優秀思想改造自身,而以MapReduce為代錶的非關繫數據管理技術陣營,從關繫數據管理技術所積纍的寶貴財富中挖掘可以藉鑒的技術和方法,不斷解決其性能問題.麵嚮大數據的深度分析需求,新的架構模式正在湧現.關繫數據管理技術和非關繫數據管理技術在不斷的競爭中互相取長補短,在新的大數據分析生態繫統內找到自己的位置.
재과학연구、계산궤방진、호련망응용、전자상무등제다응용영역,수거량정재이겁쾌적속도증장,위료분석화이용저사방대적수거자원,필수의뢰유효적수거분석기술.전통적관계수거관리기술(병행수거고)경과료장근40년적발전,재확전성방면우도료거대적장애,무법성임대수거분석적임무;이이MapReduce위대표적비관계수거관리화분석기술이군돌기,이기량호적확전성、용착성화대규모병행처리적우세,종호련망신식수색영역개시,진이재수거분석적제다영역화관계수거관리기술전개료경쟁.관계수거관리기술진영재상실수색저개진지지후,개시고필자신적국한성,불단차감MapReduce적우수사상개조자신,이이MapReduce위대표적비관계수거관리기술진영,종관계수거관리기술소적루적보귀재부중알굴가이차감적기술화방법,불단해결기성능문제.면향대수거적심도분석수구,신적가구모식정재용현.관계수거관리기술화비관계수거관리기술재불단적경쟁중호상취장보단,재신적대수거분석생태계통내조도자기적위치.