CAJ | 학술논문

以实时传感数据和历史感知数据为基础的各类计算需求逐渐成为当前物联网应用建设中的关键,如何实现基于高速数据流和大规模历史数据的实时计算成为数据处理领域的新挑战.现有批处理方式的MapReduce大规模数据处理技术难以满足此类计算的实时要求.文中结合城市车辆数据的实时采集与处理应用,在理论和实践分析的基础上,提出了一种针对高速数据流的大规模数据实时处理方法,并对方法中的本地阶段化流水线、中间结果缓存等关键技术瓶颈进行了改进.其中,根据系统参数控制阶段化流水线,使CPU得到了充分、有效利用；通过改造内外存数据结构、读写策略和替换算法,优化了本地中间结果的高并发读写性能.实验表明,上述方法可以显著提升大规模历史数据上数据流处理的实时性和可伸缩性.
이실시전감수거화역사감지수거위기출적각류계산수구축점성위당전물련망응용건설중적관건,여하실현기우고속수거류화대규모역사수거적실시계산성위수거처리영역적신도전.현유비처리방식적MapReduce대규모수거처리기술난이만족차류계산적실시요구.문중결합성시차량수거적실시채집여처리응용,재이론화실천분석적기출상,제출료일충침대고속수거류적대규모수거실시처리방법,병대방법중적본지계단화류수선、중간결과완존등관건기술병경진행료개진.기중,근거계통삼수공제계단화류수선,사CPU득도료충분、유효이용；통과개조내외존수거결구、독사책략화체환산법,우화료본지중간결과적고병발독사성능.실험표명,상술방법가이현저제승대규모역사수거상수거류처리적실시성화가신축성.