计算机应用
計算機應用
계산궤응용
COMPUTER APPLICATION
2014年
8期
2260-2266
,共7页
廖彬%于炯%张陶%杨兴耀
廖彬%于炯%張陶%楊興耀
료빈%우형%장도%양흥요
大数据计算%分布式存储系统%任务调度%数据模型%资源选择
大數據計算%分佈式存儲繫統%任務調度%數據模型%資源選擇
대수거계산%분포식존저계통%임무조도%수거모형%자원선택
big data computing%distributed storage system%task scheduling%data model%resource selection
大数据环境下的计算任务往往具有一定数据依赖性关系(如MapReduce),现有的分布式存储系统任务资源选择策略选择离请求者最近的数据块响应服务,忽略了对数据块所在服务器CPU、磁盘I/O与网络等资源负载状态的考虑.在分析研究系统集群结构、文件分块、数据块存储机制的基础上,定义了集群节点矩阵、CPU负载矩阵、磁盘I/O负载矩阵、网络负载矩阵、文件分块矩阵、数据块存储矩阵与数据块存储节点状态矩阵,为任务与数据之间的依赖性构建了基础数据模型,提出了一种数据依赖约束下的最优资源选择算法(ORS2 DC).任务调度节点负责维护基础数据,MapReduce任务与数据块读取任务由于依赖资源不同而采取不同的选择策略.实验结果表明:所提算法能够为任务选择质量更高的资源,提高任务完成质量的同时减轻了NameNode负担,减小了单点故障发生的概率.
大數據環境下的計算任務往往具有一定數據依賴性關繫(如MapReduce),現有的分佈式存儲繫統任務資源選擇策略選擇離請求者最近的數據塊響應服務,忽略瞭對數據塊所在服務器CPU、磁盤I/O與網絡等資源負載狀態的攷慮.在分析研究繫統集群結構、文件分塊、數據塊存儲機製的基礎上,定義瞭集群節點矩陣、CPU負載矩陣、磁盤I/O負載矩陣、網絡負載矩陣、文件分塊矩陣、數據塊存儲矩陣與數據塊存儲節點狀態矩陣,為任務與數據之間的依賴性構建瞭基礎數據模型,提齣瞭一種數據依賴約束下的最優資源選擇算法(ORS2 DC).任務調度節點負責維護基礎數據,MapReduce任務與數據塊讀取任務由于依賴資源不同而採取不同的選擇策略.實驗結果錶明:所提算法能夠為任務選擇質量更高的資源,提高任務完成質量的同時減輕瞭NameNode負擔,減小瞭單點故障髮生的概率.
대수거배경하적계산임무왕왕구유일정수거의뢰성관계(여MapReduce),현유적분포식존저계통임무자원선택책략선택리청구자최근적수거괴향응복무,홀략료대수거괴소재복무기CPU、자반I/O여망락등자원부재상태적고필.재분석연구계통집군결구、문건분괴、수거괴존저궤제적기출상,정의료집군절점구진、CPU부재구진、자반I/O부재구진、망락부재구진、문건분괴구진、수거괴존저구진여수거괴존저절점상태구진,위임무여수거지간적의뢰성구건료기출수거모형,제출료일충수거의뢰약속하적최우자원선택산법(ORS2 DC).임무조도절점부책유호기출수거,MapReduce임무여수거괴독취임무유우의뢰자원불동이채취불동적선택책략.실험결과표명:소제산법능구위임무선택질량경고적자원,제고임무완성질량적동시감경료NameNode부담,감소료단점고장발생적개솔.
