CAJ | 학술논문

为了在大规模历史感知数据基础上实现针对高速传感数据流的实时计算,提出一种面向大规模历史数据的数据流处理方法RTMR,通过中间结果缓存、流水化和本地化改进了MapReduce的数据流处理能力.在此基础上,为了适应性地构造RTMR集群,利用模型分析方法根据应用特征和集群环境配置节点类型和拓扑结构.为实现集群的负载均衡,通过计算负载状态转换关系分组空闲节点和过载节点,将NP难的动态负载均衡问题快速分解为规模较小的子问题,并且综合执行时间和数据移动代价作为子问题的优化目标,提高应对负载倾斜的反应速度.实验表明,上述方法和技术能够保障大规模历史数据上数据流处理的可伸缩性.
위료재대규모역사감지수거기출상실현침대고속전감수거류적실시계산,제출일충면향대규모역사수거적수거류처리방법RTMR,통과중간결과완존、류수화화본지화개진료MapReduce적수거류처리능력.재차기출상,위료괄응성지구조RTMR집군,이용모형분석방법근거응용특정화집군배경배치절점류형화탁복결구.위실현집군적부재균형,통과계산부재상태전환관계분조공한절점화과재절점,장NP난적동태부재균형문제쾌속분해위규모교소적자문제,병차종합집행시간화수거이동대개작위자문제적우화목표,제고응대부재경사적반응속도.실험표명,상술방법화기술능구보장대규모역사수거상수거류처리적가신축성.