CAJ | 학술논문

高性能计算机主要应用于传统的科学计算领域,而在云计算时代,数据密集型应用成为一大类新型应用,已经变得越来越重要.主要探索如何在高性能计算机上高效地进行海量数据处理,使高性能计算机在进行科学计算的同时,能够非常好地支持数据密集型应用,拓展高性能计算机的应用领域.分析了高性能计算机上MapReduce模型实现和部署的可行性之后,在高性能计算环境中进行了实验.实验结果表明,存储系统的并行I/O能力不能充分发挥,是造成系统无法高效运行的主要瓶颈.而导致这个性能瓶颈的原因,是高并发带来的对集群文件系统资源的竞争和冲突.最后,提出了几种解决集群文件系统资源冲突的方案,这是今后的研究方向.
고성능계산궤주요응용우전통적과학계산영역,이재운계산시대,수거밀집형응용성위일대류신형응용,이경변득월래월중요.주요탐색여하재고성능계산궤상고효지진행해량수거처리,사고성능계산궤재진행과학계산적동시,능구비상호지지지수거밀집형응용,탁전고성능계산궤적응용영역.분석료고성능계산궤상MapReduce모형실현화부서적가행성지후,재고성능계산배경중진행료실험.실험결과표명,존저계통적병행I/O능력불능충분발휘,시조성계통무법고효운행적주요병경.이도치저개성능병경적원인,시고병발대래적대집군문건계통자원적경쟁화충돌.최후,제출료궤충해결집군문건계통자원충돌적방안,저시금후적연구방향.