成都信息工程学院学报
成都信息工程學院學報
성도신식공정학원학보
JOURNAL OF CHENGDU INSTITUTE OF METEOROLOGY
2014年
1期
1-12
,共12页
王鹏%黄焱%刘峰%安俊秀
王鵬%黃焱%劉峰%安俊秀
왕붕%황염%류봉%안준수
面向数据%协作机制%面向计算%高性能计算%大数据
麵嚮數據%協作機製%麵嚮計算%高性能計算%大數據
면향수거%협작궤제%면향계산%고성능계산%대수거
data-oriented%cooperation mechanism%computation-oriented%high performance computing%big data
大数据系统也被称为面向数据的高性能计算系统,与传统高性能计算系统相似,其计算和数据存储通常也是基于机群实现的分布式系统.以计算与数据的协作机制为主线分析对比了面向计算的高性能计算和面向数据的高性能计算,指出正是计算与数据的协作机制决定着大数据系统的基本结构和性能.分布式文件系统与计算通过协助机制的融合是大数据系统实现自动并行化的基础.与面向计算的高性能计算系统不同,大数据系统以切分数据并将计算向数据迁移作为协作机制的主要原则,实现对海量数据的自动并行批处理.元数据映射方法、哈希映射方法及流式拓朴方法是实现计算和数据协作的基本方法,特别是利用流式拓朴方法可以实现实时大数据处理.
大數據繫統也被稱為麵嚮數據的高性能計算繫統,與傳統高性能計算繫統相似,其計算和數據存儲通常也是基于機群實現的分佈式繫統.以計算與數據的協作機製為主線分析對比瞭麵嚮計算的高性能計算和麵嚮數據的高性能計算,指齣正是計算與數據的協作機製決定著大數據繫統的基本結構和性能.分佈式文件繫統與計算通過協助機製的融閤是大數據繫統實現自動併行化的基礎.與麵嚮計算的高性能計算繫統不同,大數據繫統以切分數據併將計算嚮數據遷移作為協作機製的主要原則,實現對海量數據的自動併行批處理.元數據映射方法、哈希映射方法及流式拓樸方法是實現計算和數據協作的基本方法,特彆是利用流式拓樸方法可以實現實時大數據處理.
대수거계통야피칭위면향수거적고성능계산계통,여전통고성능계산계통상사,기계산화수거존저통상야시기우궤군실현적분포식계통.이계산여수거적협작궤제위주선분석대비료면향계산적고성능계산화면향수거적고성능계산,지출정시계산여수거적협작궤제결정착대수거계통적기본결구화성능.분포식문건계통여계산통과협조궤제적융합시대수거계통실현자동병행화적기출.여면향계산적고성능계산계통불동,대수거계통이절분수거병장계산향수거천이작위협작궤제적주요원칙,실현대해량수거적자동병행비처리.원수거영사방법、합희영사방법급류식탁박방법시실현계산화수거협작적기본방법,특별시이용류식탁박방법가이실현실시대수거처리.
