计算机学报
計算機學報
계산궤학보
CHINESE JOURNAL OF COMPUTERS
2012年
8期
1563-1578
,共16页
宫学庆%金澈清%王晓玲%张蓉%周傲英
宮學慶%金澈清%王曉玲%張蓉%週傲英
궁학경%금철청%왕효령%장용%주오영
大数据%数据密集型科学与工程%需求%挑战
大數據%數據密集型科學與工程%需求%挑戰
대수거%수거밀집형과학여공정%수구%도전
科学研究在经历了实验科学、理论科学、计算科学阶段后,进入了数据密集型科学阶段,与之相伴的是大数据时代的到来.大数据泛指规模达到几百TB,甚至PB级的数据①,其典型的特征是分布、异构、低质量等.尽管传统数据库管理技术(特别是商业关系型数据库)在过去40年间取得了巨大成功,但是这些技术和系统无法有效管理支持数据密集型科学与工程(Data-Intensive Science and Engineering,DISE)的大数据.文中探讨数据密集型科学与工程的具体需求和现实挑战.它涵盖的内容表现在4个层面,包括数据存储与组织、计算方法、数据分析以及用户接口技术等.同时,数据质量、数据安全、数据监护等内容也需要在各层面得到重视.文中尝试梳理了数据密集型科学与工程的整体架构,回顾了相关领域的新近发展,分析了面临的挑战,探讨了未来的研究方向.
科學研究在經歷瞭實驗科學、理論科學、計算科學階段後,進入瞭數據密集型科學階段,與之相伴的是大數據時代的到來.大數據汎指規模達到幾百TB,甚至PB級的數據①,其典型的特徵是分佈、異構、低質量等.儘管傳統數據庫管理技術(特彆是商業關繫型數據庫)在過去40年間取得瞭巨大成功,但是這些技術和繫統無法有效管理支持數據密集型科學與工程(Data-Intensive Science and Engineering,DISE)的大數據.文中探討數據密集型科學與工程的具體需求和現實挑戰.它涵蓋的內容錶現在4箇層麵,包括數據存儲與組織、計算方法、數據分析以及用戶接口技術等.同時,數據質量、數據安全、數據鑑護等內容也需要在各層麵得到重視.文中嘗試梳理瞭數據密集型科學與工程的整體架構,迴顧瞭相關領域的新近髮展,分析瞭麵臨的挑戰,探討瞭未來的研究方嚮.
과학연구재경력료실험과학、이론과학、계산과학계단후,진입료수거밀집형과학계단,여지상반적시대수거시대적도래.대수거범지규모체도궤백TB,심지PB급적수거①,기전형적특정시분포、이구、저질량등.진관전통수거고관리기술(특별시상업관계형수거고)재과거40년간취득료거대성공,단시저사기술화계통무법유효관리지지수거밀집형과학여공정(Data-Intensive Science and Engineering,DISE)적대수거.문중탐토수거밀집형과학여공정적구체수구화현실도전.타함개적내용표현재4개층면,포괄수거존저여조직、계산방법、수거분석이급용호접구기술등.동시,수거질량、수거안전、수거감호등내용야수요재각층면득도중시.문중상시소리료수거밀집형과학여공정적정체가구,회고료상관영역적신근발전,분석료면림적도전,탐토료미래적연구방향.