计算机应用
計算機應用
계산궤응용
Journal of Computer Applications
2015年
9期
2476-2481
,共6页
异常检测%MapReduce性能优化%推测执行%异构环境
異常檢測%MapReduce性能優化%推測執行%異構環境
이상검측%MapReduce성능우화%추측집행%이구배경
anomaly detection%MapReduce performance optimization%speculative execution%heterogeneous environment
针对"落伍者"的选择问题,提出利用故障诊断领域内通常使用的异常检测模型来选择"落伍者"的方法.首先,利用异常检测算法来发现集群中的"慢节点";然后改进MapReduce任务分配算法和推测执行算法,不再给"慢节点"分配任务并将"慢节点"中的任务分配至有空闲任务槽的正常节点中.在改进的推测执行算法中,因相同网段内的节点通常物理邻近,可提高数据传输速度,首次将"慢节点"中的任务分配至同网段的正常节点中,以便数据传输.实例验证结果表明,使用异常检测算法后可迅速检测出异常节点,且与Hadoop-LATE算法相比,处理相同任务量可缩短集群17％的任务处理时间,说明所提算法在集群整体性能优化中表现优异.
針對"落伍者"的選擇問題,提齣利用故障診斷領域內通常使用的異常檢測模型來選擇"落伍者"的方法.首先,利用異常檢測算法來髮現集群中的"慢節點";然後改進MapReduce任務分配算法和推測執行算法,不再給"慢節點"分配任務併將"慢節點"中的任務分配至有空閒任務槽的正常節點中.在改進的推測執行算法中,因相同網段內的節點通常物理鄰近,可提高數據傳輸速度,首次將"慢節點"中的任務分配至同網段的正常節點中,以便數據傳輸.實例驗證結果錶明,使用異常檢測算法後可迅速檢測齣異常節點,且與Hadoop-LATE算法相比,處理相同任務量可縮短集群17％的任務處理時間,說明所提算法在集群整體性能優化中錶現優異.
침대"락오자"적선택문제,제출이용고장진단영역내통상사용적이상검측모형래선택"락오자"적방법.수선,이용이상검측산법래발현집군중적"만절점";연후개진MapReduce임무분배산법화추측집행산법,불재급"만절점"분배임무병장"만절점"중적임무분배지유공한임무조적정상절점중.재개진적추측집행산법중,인상동망단내적절점통상물리린근,가제고수거전수속도,수차장"만절점"중적임무분배지동망단적정상절점중,이편수거전수.실례험증결과표명,사용이상검측산법후가신속검측출이상절점,차여Hadoop-LATE산법상비,처리상동임무량가축단집군17％적임무처리시간,설명소제산법재집군정체성능우화중표현우이.
