华东师范大学学报(自然科学版)
華東師範大學學報(自然科學版)
화동사범대학학보(자연과학판)
JOURNAL OF EAST CHINA NORMAL UNIVERSITY(NATURAL SCIENCE)
2014年
5期
216-227
,共12页
黄岚%孙珂%陈晓竹%周敏奇
黃嵐%孫珂%陳曉竹%週敏奇
황람%손가%진효죽%주민기
内存数据管理%缓存感知%迭代式处理
內存數據管理%緩存感知%迭代式處理
내존수거관리%완존감지%질대식처리
in-memory data management%cache sensitive%iterative data processing
本文围绕大数据分类中决策数据的管理和分析进行展开.重点分析了大数据时代关于商务智能(Business Intelligence,BI)技术新的应用需求;讨论了计算机硬件和体系结构的发展为决策数据管理和分析带来的挑战和机遇;通过对新兴典型应用的分析和相关技术和系统特点的总结,说明了基于内存计算的高性能数据管理和分析技术是当前亟待解决的问题,具有广阔的应用前景.在全内存式(in-memory)数据管理环境下,网络通讯将成为整个系统的主要瓶颈.结合内存的特点(数据易失性、内存墙瓶颈),设计针对高性能服务器的无共享分布式内存系统拓扑结构;研究面向异构、多层次缓存和内存结构的分布式数据布局与索引策略,跨核、跨处理器、跨服务器的多粒度并行处理框架,缓存感知、内存感知的分布式数据一致性维护等关键技术,轻量级面向按列存储的数据压缩机制及压缩感知的数据处理机制,将是基于内存计算的高性能数据管理与分析技术的重点研究内容,并将最终实现实时交互式分析处理.
本文圍繞大數據分類中決策數據的管理和分析進行展開.重點分析瞭大數據時代關于商務智能(Business Intelligence,BI)技術新的應用需求;討論瞭計算機硬件和體繫結構的髮展為決策數據管理和分析帶來的挑戰和機遇;通過對新興典型應用的分析和相關技術和繫統特點的總結,說明瞭基于內存計算的高性能數據管理和分析技術是噹前亟待解決的問題,具有廣闊的應用前景.在全內存式(in-memory)數據管理環境下,網絡通訊將成為整箇繫統的主要瓶頸.結閤內存的特點(數據易失性、內存牆瓶頸),設計針對高性能服務器的無共享分佈式內存繫統拓撲結構;研究麵嚮異構、多層次緩存和內存結構的分佈式數據佈跼與索引策略,跨覈、跨處理器、跨服務器的多粒度併行處理框架,緩存感知、內存感知的分佈式數據一緻性維護等關鍵技術,輕量級麵嚮按列存儲的數據壓縮機製及壓縮感知的數據處理機製,將是基于內存計算的高性能數據管理與分析技術的重點研究內容,併將最終實現實時交互式分析處理.
본문위요대수거분류중결책수거적관리화분석진행전개.중점분석료대수거시대관우상무지능(Business Intelligence,BI)기술신적응용수구;토론료계산궤경건화체계결구적발전위결책수거관리화분석대래적도전화궤우;통과대신흥전형응용적분석화상관기술화계통특점적총결,설명료기우내존계산적고성능수거관리화분석기술시당전극대해결적문제,구유엄활적응용전경.재전내존식(in-memory)수거관리배경하,망락통신장성위정개계통적주요병경.결합내존적특점(수거역실성、내존장병경),설계침대고성능복무기적무공향분포식내존계통탁복결구;연구면향이구、다층차완존화내존결구적분포식수거포국여색인책략,과핵、과처리기、과복무기적다립도병행처리광가,완존감지、내존감지적분포식수거일치성유호등관건기술,경량급면향안렬존저적수거압축궤제급압축감지적수거처리궤제,장시기우내존계산적고성능수거관리여분석기술적중점연구내용,병장최종실현실시교호식분석처리.