计算机学报
計算機學報
계산궤학보
CHINESE JOURNAL OF COMPUTERS
2015年
5期
1035-1043
,共9页
曹立强%莫则尧%沈卫超%夏芳%陈军
曹立彊%莫則堯%瀋衛超%夏芳%陳軍
조립강%막칙요%침위초%하방%진군
并行I/O%高层I/O库%性能优化%数据格式%双路并行I/O
併行I/O%高層I/O庫%性能優化%數據格式%雙路併行I/O
병행I/O%고층I/O고%성능우화%수거격식%쌍로병행I/O
parallel I/O%high-level I/O library%performance optimization%data format%dual channel parallel I/O
科学计算数据集由数据和元数据组成.一般条件下,数据的尺寸较大,元数据尺寸较小.传统的高性能计算机并行文件系统可以高效率地读写大块连续数据,但是无法高效率地读写大量较小块的元数据.一旦大块数据和小块元数据两类读写特征混杂在一起,元数据将较严重地干扰并行I/O,造成性能的下降.为此,文中提出数据与元数据分治的双路并行I/O方法.该方法在高层I/O库中建立内存文件系统与并行文件系统两级存储,在存储资源之间并行迁移科学计算元数据.一方面降低较频繁读写元数据的I/O延迟,另一方面改变科学计算数据的存储特征与存储模式,从而提高科学计算应用、尤其是数据分析与可视化等读入密集型应用的I/O效率.测试表明,双路并行I/o方法可提高写性能8％～13％,提高读性能89％到1.01倍.
科學計算數據集由數據和元數據組成.一般條件下,數據的呎吋較大,元數據呎吋較小.傳統的高性能計算機併行文件繫統可以高效率地讀寫大塊連續數據,但是無法高效率地讀寫大量較小塊的元數據.一旦大塊數據和小塊元數據兩類讀寫特徵混雜在一起,元數據將較嚴重地榦擾併行I/O,造成性能的下降.為此,文中提齣數據與元數據分治的雙路併行I/O方法.該方法在高層I/O庫中建立內存文件繫統與併行文件繫統兩級存儲,在存儲資源之間併行遷移科學計算元數據.一方麵降低較頻繁讀寫元數據的I/O延遲,另一方麵改變科學計算數據的存儲特徵與存儲模式,從而提高科學計算應用、尤其是數據分析與可視化等讀入密集型應用的I/O效率.測試錶明,雙路併行I/o方法可提高寫性能8％～13％,提高讀性能89％到1.01倍.
과학계산수거집유수거화원수거조성.일반조건하,수거적척촌교대,원수거척촌교소.전통적고성능계산궤병행문건계통가이고효솔지독사대괴련속수거,단시무법고효솔지독사대량교소괴적원수거.일단대괴수거화소괴원수거량류독사특정혼잡재일기,원수거장교엄중지간우병행I/O,조성성능적하강.위차,문중제출수거여원수거분치적쌍로병행I/O방법.해방법재고층I/O고중건립내존문건계통여병행문건계통량급존저,재존저자원지간병행천이과학계산원수거.일방면강저교빈번독사원수거적I/O연지,령일방면개변과학계산수거적존저특정여존저모식,종이제고과학계산응용、우기시수거분석여가시화등독입밀집형응용적I/O효솔.측시표명,쌍로병행I/o방법가제고사성능8％～13％,제고독성능89％도1.01배.
