华东师范大学学报（自然科学版）
華東師範大學學報（自然科學版）
화동사범대학학보（자연과학판）
JOURNAL OF EAST CHINA NORMAL UNIVERSITY(NATURAL SCIENCE)
2015年
z1期
126-131
,共6页
大数据%Hadoop%校园网站%日志系统
大數據%Hadoop%校園網站%日誌繫統
대수거%Hadoop%교완망참%일지계통
big data%Hadoop%campus website%logging system
每所高校校园网内成百上千的网站每天产生的Web访问日志量级都以千万计.利用大数据技术对这些海量、实时的数据进行集中搜集和长期存储,并通过后期大数据分析来挖掘这些日志的价值,无论从管理运维角度,还是从信息安全视角都具有实际意义.本文以上海交通大学为例,介绍了利用Hadoop大数据平台,存储并分析校园网内数千网站日志的系统设计和实现.
每所高校校園網內成百上韆的網站每天產生的Web訪問日誌量級都以韆萬計.利用大數據技術對這些海量、實時的數據進行集中搜集和長期存儲,併通過後期大數據分析來挖掘這些日誌的價值,無論從管理運維角度,還是從信息安全視角都具有實際意義.本文以上海交通大學為例,介紹瞭利用Hadoop大數據平檯,存儲併分析校園網內數韆網站日誌的繫統設計和實現.
매소고교교완망내성백상천적망참매천산생적Web방문일지량급도이천만계.이용대수거기술대저사해량、실시적수거진행집중수집화장기존저,병통과후기대수거분석래알굴저사일지적개치,무론종관리운유각도,환시종신식안전시각도구유실제의의.본문이상해교통대학위례,개소료이용Hadoop대수거평태,존저병분석교완망내수천망참일지적계통설계화실현.
