信息与电脑
信息與電腦
신식여전뇌
China Computer & Communication
2015年
17期
130-131,136
,共3页
日志分析%分布式计算%Hadoop%Spark
日誌分析%分佈式計算%Hadoop%Spark
일지분석%분포식계산%Hadoop%Spark
在信息系统应用中,日志数据记录了用户对系统的操作以及系统自身的运行状况。通过对日志数据的分析,可以获取系统的运行状况、故障原因和用户的访问规律等信息。本文设计和实现了一个基于云平台的分布式日志系统,依据日志分析系统的特点,构建了系统总体架构,设计了日志数据在云平台下的存储策略、日志清洗流程等,并基于Map/Reduce和Spark编码设计实现清洗转换、指标统计等功能模块。系统测试证明该系统能符合功能需求,具有一定的实践意义。
在信息繫統應用中,日誌數據記錄瞭用戶對繫統的操作以及繫統自身的運行狀況。通過對日誌數據的分析,可以穫取繫統的運行狀況、故障原因和用戶的訪問規律等信息。本文設計和實現瞭一箇基于雲平檯的分佈式日誌繫統,依據日誌分析繫統的特點,構建瞭繫統總體架構,設計瞭日誌數據在雲平檯下的存儲策略、日誌清洗流程等,併基于Map/Reduce和Spark編碼設計實現清洗轉換、指標統計等功能模塊。繫統測試證明該繫統能符閤功能需求,具有一定的實踐意義。
재신식계통응용중,일지수거기록료용호대계통적조작이급계통자신적운행상황。통과대일지수거적분석,가이획취계통적운행상황、고장원인화용호적방문규률등신식。본문설계화실현료일개기우운평태적분포식일지계통,의거일지분석계통적특점,구건료계통총체가구,설계료일지수거재운평태하적존저책략、일지청세류정등,병기우Map/Reduce화Spark편마설계실현청세전환、지표통계등공능모괴。계통측시증명해계통능부합공능수구,구유일정적실천의의。