电信科学
電信科學
전신과학
TELECOMMUNICATIONS SCIENCE
2014年
9期
61-71
,共11页
金苍宏%刘泽民%吴明晖%应晶
金蒼宏%劉澤民%吳明暉%應晶
금창굉%류택민%오명휘%응정
流数据%概要立方体%联机分析挖掘%实时分析
流數據%概要立方體%聯機分析挖掘%實時分析
류수거%개요립방체%련궤분석알굴%실시분석
stream data%sketch cube%online analytical mining%real-time analysis
流数据是目前一种重要的数据展现形式,对流数据进行OLAM(联机分析挖掘)操作可为分析人员提供多层次的数据视图.但OLAM要求在不同粒度中实现对数据的聚合操作,而流式数据内含时态特性和持续到达特性,使得数据无法被多次重复操作.使用传统OLAP(联机分析处理)方法无法生成部分物化视图且流数据规模宏大,受限于存储空间大小而无法保存全部数据单元信息.针对上述问题,提出了一种基于概要技术的流数据OLAM框架——sketch cube(概要立方体),该框架把任意维度组合映射成唯一自然数,根据上下限单调原则对维度组合裁剪,在类线性空间中保存有效数据单元信息,并构建时间序列索引提高检索效率.通过理论分析给出使用sketch cube的前提条件,同时通过真实海量流数据实验分析表明,sketch sube在有效性、存储空间效率和正确率上可以满足实时挖掘的需求.
流數據是目前一種重要的數據展現形式,對流數據進行OLAM(聯機分析挖掘)操作可為分析人員提供多層次的數據視圖.但OLAM要求在不同粒度中實現對數據的聚閤操作,而流式數據內含時態特性和持續到達特性,使得數據無法被多次重複操作.使用傳統OLAP(聯機分析處理)方法無法生成部分物化視圖且流數據規模宏大,受限于存儲空間大小而無法保存全部數據單元信息.針對上述問題,提齣瞭一種基于概要技術的流數據OLAM框架——sketch cube(概要立方體),該框架把任意維度組閤映射成唯一自然數,根據上下限單調原則對維度組閤裁剪,在類線性空間中保存有效數據單元信息,併構建時間序列索引提高檢索效率.通過理論分析給齣使用sketch cube的前提條件,同時通過真實海量流數據實驗分析錶明,sketch sube在有效性、存儲空間效率和正確率上可以滿足實時挖掘的需求.
류수거시목전일충중요적수거전현형식,대류수거진행OLAM(련궤분석알굴)조작가위분석인원제공다층차적수거시도.단OLAM요구재불동립도중실현대수거적취합조작,이류식수거내함시태특성화지속도체특성,사득수거무법피다차중복조작.사용전통OLAP(련궤분석처리)방법무법생성부분물화시도차류수거규모굉대,수한우존저공간대소이무법보존전부수거단원신식.침대상술문제,제출료일충기우개요기술적류수거OLAM광가——sketch cube(개요립방체),해광가파임의유도조합영사성유일자연수,근거상하한단조원칙대유도조합재전,재류선성공간중보존유효수거단원신식,병구건시간서렬색인제고검색효솔.통과이론분석급출사용sketch cube적전제조건,동시통과진실해량류수거실험분석표명,sketch sube재유효성、존저공간효솔화정학솔상가이만족실시알굴적수구.