计算机系统应用
計算機繫統應用
계산궤계통응용
APPLICATIONS OF THE COMPUTER SYSTEMS
2015年
3期
44-49
,共6页
连文波%汪美玲%陶秋铭%赵琛
連文波%汪美玲%陶鞦銘%趙琛
련문파%왕미령%도추명%조침
作业依存%内存缓存%迭代程序%迭代间可驻留数据%迭代内依存数据
作業依存%內存緩存%迭代程序%迭代間可駐留數據%迭代內依存數據
작업의존%내존완존%질대정서%질대간가주류수거%질대내의존수거
job dependency%in-memory cache%iterative program%inter-iteration resident data%intra-iteration dependent data
迭代式计算是一类重要的大数据分析应用.在分布式计算框架MapReduce上实现迭代计算时,计算会被分解成多个作业并按作业依存关系顺序运行,这使得程序与分布式文件系统(DFS)有多次交互而影响程序执行时间.对这些交互相关数据的缓存会降低与DFS的交互时间,进而提升程序总体的性能.考虑到集群中的大量内存在多数情况下会处于空闲状态,提出了一种使用内存缓存的迭代式应用编程框架MemLoop.该系统从作业提交API、调度算法、缓存管理模块实现缓存管理以充分利用内存缓存迭代间可驻留数据与迭代内依存数据.我们将此框架与已有相关框架进行了比较,实验结果表明该框架能够提升迭代程序的性能.
迭代式計算是一類重要的大數據分析應用.在分佈式計算框架MapReduce上實現迭代計算時,計算會被分解成多箇作業併按作業依存關繫順序運行,這使得程序與分佈式文件繫統(DFS)有多次交互而影響程序執行時間.對這些交互相關數據的緩存會降低與DFS的交互時間,進而提升程序總體的性能.攷慮到集群中的大量內存在多數情況下會處于空閒狀態,提齣瞭一種使用內存緩存的迭代式應用編程框架MemLoop.該繫統從作業提交API、調度算法、緩存管理模塊實現緩存管理以充分利用內存緩存迭代間可駐留數據與迭代內依存數據.我們將此框架與已有相關框架進行瞭比較,實驗結果錶明該框架能夠提升迭代程序的性能.
질대식계산시일류중요적대수거분석응용.재분포식계산광가MapReduce상실현질대계산시,계산회피분해성다개작업병안작업의존관계순서운행,저사득정서여분포식문건계통(DFS)유다차교호이영향정서집행시간.대저사교호상관수거적완존회강저여DFS적교호시간,진이제승정서총체적성능.고필도집군중적대량내존재다수정황하회처우공한상태,제출료일충사용내존완존적질대식응용편정광가MemLoop.해계통종작업제교API、조도산법、완존관리모괴실현완존관리이충분이용내존완존질대간가주류수거여질대내의존수거.아문장차광가여이유상관광가진행료비교,실험결과표명해광가능구제승질대정서적성능.
