计算机工程与科学
計算機工程與科學
계산궤공정여과학
COMPUTER ENGINEERING & SCIENCE
2011年
4期
159-163
,共5页
蔡昭权%吴文忠%卢庆武%张锐
蔡昭權%吳文忠%盧慶武%張銳
채소권%오문충%로경무%장예
关系数据库%HDF5%高效数据分析系统%外汇分析模型
關繫數據庫%HDF5%高效數據分析繫統%外彙分析模型
관계수거고%HDF5%고효수거분석계통%외회분석모형
为解决目前关系型数据库由于死锁和阻塞等原因造成系统随数据量增加性能急剧降低的问题,本文提出结合HDF5和Esper的数据处理方法,利用HDF5(层次型数据存储格式)的强大I/O性能和数据类型自定义功能做数据存储,加快数据存储的速度.同时,结合Esper实时计算的高运算效率特征,设计出一套针对外汇计算行业的可移植的数据格式和函数库,解决了即时数据分析系统在存储、管理、交换、归档需求中出现的性能和效率问题.实验结果表明,在10G/天的数据量下,HDF5的数据读写性能比MSSQL要高80倍左右,结合Esper的毫秒级处理能力,能够做到外汇数据的实时计算.系统对于数据处理分析和实时性要求极高的情况有较高的应用价值.
為解決目前關繫型數據庫由于死鎖和阻塞等原因造成繫統隨數據量增加性能急劇降低的問題,本文提齣結閤HDF5和Esper的數據處理方法,利用HDF5(層次型數據存儲格式)的彊大I/O性能和數據類型自定義功能做數據存儲,加快數據存儲的速度.同時,結閤Esper實時計算的高運算效率特徵,設計齣一套針對外彙計算行業的可移植的數據格式和函數庫,解決瞭即時數據分析繫統在存儲、管理、交換、歸檔需求中齣現的性能和效率問題.實驗結果錶明,在10G/天的數據量下,HDF5的數據讀寫性能比MSSQL要高80倍左右,結閤Esper的毫秒級處理能力,能夠做到外彙數據的實時計算.繫統對于數據處理分析和實時性要求極高的情況有較高的應用價值.
위해결목전관계형수거고유우사쇄화조새등원인조성계통수수거량증가성능급극강저적문제,본문제출결합HDF5화Esper적수거처리방법,이용HDF5(층차형수거존저격식)적강대I/O성능화수거류형자정의공능주수거존저,가쾌수거존저적속도.동시,결합Esper실시계산적고운산효솔특정,설계출일투침대외회계산행업적가이식적수거격식화함수고,해결료즉시수거분석계통재존저、관리、교환、귀당수구중출현적성능화효솔문제.실험결과표명,재10G/천적수거량하,HDF5적수거독사성능비MSSQL요고80배좌우,결합Esper적호초급처리능력,능구주도외회수거적실시계산.계통대우수거처리분석화실시성요구겁고적정황유교고적응용개치.
