计算机应用
計算機應用
계산궤응용
Journal of Computer Applications
2015年
10期
2784-2788
,共5页
云计算%心跳机制%容错%异构集群%实时性
雲計算%心跳機製%容錯%異構集群%實時性
운계산%심도궤제%용착%이구집군%실시성
cloud computing%heartbeat mechanism%fault-tolerant%heterogeneous cluster%real-time
针对官方的Hadoop软件中提供的节点心跳超时容错机制对短作业并不合理,而且忽略了异构集群中各节点超期时间设置的公平性的问题,提出了公平心跳超时容错机制.首先根据每个节点的可靠性及计算性能构建节点故障误判损失模型,提出公平误判损失(FMJL)算法,使其同时满足长作业和短作业要求;接着,设计并实现了基于FMJL算法的公平超时机制.在实现了公平超时机制的Hadoop上运行大约345 s的短作业时,当出现TaskTracker节点故障时作业完成时间平均大约节省了44％,与自适应超时机制相比,作业完成时间大约节省了23％.实验结果表明,公平超时机制在保证不影响长作业完成时间的情况下缩短了短作业的容错处理时间,提高了Hadoop的实时处理效率.
針對官方的Hadoop軟件中提供的節點心跳超時容錯機製對短作業併不閤理,而且忽略瞭異構集群中各節點超期時間設置的公平性的問題,提齣瞭公平心跳超時容錯機製.首先根據每箇節點的可靠性及計算性能構建節點故障誤判損失模型,提齣公平誤判損失(FMJL)算法,使其同時滿足長作業和短作業要求;接著,設計併實現瞭基于FMJL算法的公平超時機製.在實現瞭公平超時機製的Hadoop上運行大約345 s的短作業時,噹齣現TaskTracker節點故障時作業完成時間平均大約節省瞭44％,與自適應超時機製相比,作業完成時間大約節省瞭23％.實驗結果錶明,公平超時機製在保證不影響長作業完成時間的情況下縮短瞭短作業的容錯處理時間,提高瞭Hadoop的實時處理效率.
침대관방적Hadoop연건중제공적절점심도초시용착궤제대단작업병불합리,이차홀략료이구집군중각절점초기시간설치적공평성적문제,제출료공평심도초시용착궤제.수선근거매개절점적가고성급계산성능구건절점고장오판손실모형,제출공평오판손실(FMJL)산법,사기동시만족장작업화단작업요구;접착,설계병실현료기우FMJL산법적공평초시궤제.재실현료공평초시궤제적Hadoop상운행대약345 s적단작업시,당출현TaskTracker절점고장시작업완성시간평균대약절성료44％,여자괄응초시궤제상비,작업완성시간대약절성료23％.실험결과표명,공평초시궤제재보증불영향장작업완성시간적정황하축단료단작업적용착처리시간,제고료Hadoop적실시처리효솔.
