计算机工程与设计
計算機工程與設計
계산궤공정여설계
COMPUTER ENGINEERING AND DESIGN
2014年
11期
4044-4048
,共5页
云计算%编程模型%控制节点%高可用性%优化
雲計算%編程模型%控製節點%高可用性%優化
운계산%편정모형%공제절점%고가용성%우화
cloud computing%MapReduce%Jobtracker%high availability%optimization
为提高MapReduce的可用性,提出一种分布式Jobtracker节点模型的优化方案.对Hadoop的核心技术之一Map-Reduce编程模型中的作业调度过程进行研究分析,指出单一Jobtracker带来的性能瓶颈,提出相应的优化方案;在此基础上,建立总体设计模型,将原MapReduce中单一的Jobtracker节点优化为具有多个Jobtracker节点的Jobtracker集群;在该模型的基础上,采用多对多的通信方法优化通信方式,以维护作业量列表的方式优化作业均衡,提高MapReduce的可用性和作业执行效率.通过测试系统的容错性和执行效率,验证了优化后模型的高可用性和高效性.
為提高MapReduce的可用性,提齣一種分佈式Jobtracker節點模型的優化方案.對Hadoop的覈心技術之一Map-Reduce編程模型中的作業調度過程進行研究分析,指齣單一Jobtracker帶來的性能瓶頸,提齣相應的優化方案;在此基礎上,建立總體設計模型,將原MapReduce中單一的Jobtracker節點優化為具有多箇Jobtracker節點的Jobtracker集群;在該模型的基礎上,採用多對多的通信方法優化通信方式,以維護作業量列錶的方式優化作業均衡,提高MapReduce的可用性和作業執行效率.通過測試繫統的容錯性和執行效率,驗證瞭優化後模型的高可用性和高效性.
위제고MapReduce적가용성,제출일충분포식Jobtracker절점모형적우화방안.대Hadoop적핵심기술지일Map-Reduce편정모형중적작업조도과정진행연구분석,지출단일Jobtracker대래적성능병경,제출상응적우화방안;재차기출상,건립총체설계모형,장원MapReduce중단일적Jobtracker절점우화위구유다개Jobtracker절점적Jobtracker집군;재해모형적기출상,채용다대다적통신방법우화통신방식,이유호작업량렬표적방식우화작업균형,제고MapReduce적가용성화작업집행효솔.통과측시계통적용착성화집행효솔,험증료우화후모형적고가용성화고효성.
