计算机研究与发展
計算機研究與髮展
계산궤연구여발전
JOURNAL OF COMPUTER RESEARCH AND DEVELOPMENT
2012年
10期
2086-2094
,共9页
列存储%物化%传递块%带值路径%VPM
列存儲%物化%傳遞塊%帶值路徑%VPM
렬존저%물화%전체괴%대치로경%VPM
物化是列存储数据仓库查询中必不可少的操作,物化策略和物化技术直接影响到查询执行的性能,因此设计一种适应于列存储系统的物化策略和相关技术尤为重要.针对延迟物化可能重复读取数据块的缺陷,提出了基于带值路径的物化技术,简称VPM.首先,定义了一个描述物理执行中间结果的结构——传递块,该结构将用于重构的位置信息与实际列值相分离.在此基础上,对于给定的物理查询树,根据其操作节点是否需要某一列的值进行路径标记,生成自扫描节点或抽值节点到最终需要这些节点的引用列的祖先节点之间的路径,即带值路径.将起始节点引用列的列值保存在传递块的列值区中,并在向查询树的上层操作节点传输过程中不断对其过滤.对带值路径中的其他列仅保存其位置信息.在查询执行时,除了路径起始节点要从磁盘读取数据外,其他节点直接从传递块中获得相应的列值,有效地减少了查询处理过程的I/O开销,提高了查询的执行性能.最后在DWMS上使用TPC-H中针对数据仓库的基准数据集SSBM进行实验,验证了基于带值路径物化技术的有效性.
物化是列存儲數據倉庫查詢中必不可少的操作,物化策略和物化技術直接影響到查詢執行的性能,因此設計一種適應于列存儲繫統的物化策略和相關技術尤為重要.針對延遲物化可能重複讀取數據塊的缺陷,提齣瞭基于帶值路徑的物化技術,簡稱VPM.首先,定義瞭一箇描述物理執行中間結果的結構——傳遞塊,該結構將用于重構的位置信息與實際列值相分離.在此基礎上,對于給定的物理查詢樹,根據其操作節點是否需要某一列的值進行路徑標記,生成自掃描節點或抽值節點到最終需要這些節點的引用列的祖先節點之間的路徑,即帶值路徑.將起始節點引用列的列值保存在傳遞塊的列值區中,併在嚮查詢樹的上層操作節點傳輸過程中不斷對其過濾.對帶值路徑中的其他列僅保存其位置信息.在查詢執行時,除瞭路徑起始節點要從磁盤讀取數據外,其他節點直接從傳遞塊中穫得相應的列值,有效地減少瞭查詢處理過程的I/O開銷,提高瞭查詢的執行性能.最後在DWMS上使用TPC-H中針對數據倉庫的基準數據集SSBM進行實驗,驗證瞭基于帶值路徑物化技術的有效性.
물화시렬존저수거창고사순중필불가소적조작,물화책략화물화기술직접영향도사순집행적성능,인차설계일충괄응우렬존저계통적물화책략화상관기술우위중요.침대연지물화가능중복독취수거괴적결함,제출료기우대치로경적물화기술,간칭VPM.수선,정의료일개묘술물리집행중간결과적결구——전체괴,해결구장용우중구적위치신식여실제렬치상분리.재차기출상,대우급정적물리사순수,근거기조작절점시부수요모일렬적치진행로경표기,생성자소묘절점혹추치절점도최종수요저사절점적인용렬적조선절점지간적로경,즉대치로경.장기시절점인용렬적렬치보존재전체괴적렬치구중,병재향사순수적상층조작절점전수과정중불단대기과려.대대치로경중적기타렬부보존기위치신식.재사순집행시,제료로경기시절점요종자반독취수거외,기타절점직접종전체괴중획득상응적렬치,유효지감소료사순처리과정적I/O개소,제고료사순적집행성능.최후재DWMS상사용TPC-H중침대수거창고적기준수거집SSBM진행실험,험증료기우대치로경물화기술적유효성.