电信工程技术与标准化
電信工程技術與標準化
전신공정기술여표준화
Telecom Engineering Technics and Standardization
2015年
9期
55-58
,共4页
Hadoop%Spark Streaming%实时日志处理系统
Hadoop%Spark Streaming%實時日誌處理繫統
Hadoop%Spark Streaming%실시일지처리계통
Hadoop%Spark Streaming%real-time information processing system
本文基于Hadoop Yarn平台，通过Spark Streaming流数据处理技术实时处理Web日志、系统日志、监控日志等，很好地解决了目前存在的问题，并使用HBase（Hadoop NoSQL Database）作为数据库存储，更好地适应日志数据规模的增长。
本文基于Hadoop Yarn平檯，通過Spark Streaming流數據處理技術實時處理Web日誌、繫統日誌、鑑控日誌等，很好地解決瞭目前存在的問題，併使用HBase（Hadoop NoSQL Database）作為數據庫存儲，更好地適應日誌數據規模的增長。
본문기우Hadoop Yarn평태，통과Spark Streaming류수거처리기술실시처리Web일지、계통일지、감공일지등，흔호지해결료목전존재적문제，병사용HBase（Hadoop NoSQL Database）작위수거고존저，경호지괄응일지수거규모적증장。
For the purpose of solving the current problem, it proposes a system based on Hadoop yarn platform, which can process web logs, system logs and monitor logs by deploying Spark Streaming.In addition, the system can adapt to the growth of the scale of data in a better way by using HBase (Hadoop Database) as storage.
