计算机工程与应用
計算機工程與應用
계산궤공정여응용
COMPUTER ENGINEERING AND APPLICATIONS
2015年
5期
107-115
,共9页
张延松%苏明川%张宇%王方舟
張延鬆%囌明川%張宇%王方舟
장연송%소명천%장우%왕방주
位图连接索引%通用图形处理器(GPGPU)%处理器敏感位图连接索引
位圖連接索引%通用圖形處理器(GPGPU)%處理器敏感位圖連接索引
위도련접색인%통용도형처리기(GPGPU)%처리기민감위도련접색인
bitmap join index%General-Purpose Graphics Processing Unit(GPGPU)%keyword bitmap join index%processor-conscious bitmap join index
位图连接索引是数据仓库中一种有效的优化表间连接操作性能的索引机制。在大内存分析处理应用场景下,位图连接索引不仅需要权衡索引的内存和CPU开销,还需要进一步考虑处理器平台所带来的性能收益和数据访问延迟。提出了基于服务的位图连接索引管理机制,其主要特点体现在三个方面:独立于数据库的自管理索引机制;基于存储空间约束的TOP K关键字位图连接索引机制;处理器敏感(processor-conscious)的位图连接索引技术。索引服务将索引从数据库中内置的数据结构变成数据库外的索引服务层,通过对用户查询负载的分析模块和索引服务管理模块改变传统的由数据库管理员人工管理索引的模式,同时借助于协处理器和内存云技术提高索引服务的性能和灵活性。实验测试结果表明,索引服务机制能够有效地提高索引存储和访问效率,在通用GPU的强大并行处理能力的支持下,位图连接索引服务的性能和数据库整体查询处理性能都得到了显著的提升。
位圖連接索引是數據倉庫中一種有效的優化錶間連接操作性能的索引機製。在大內存分析處理應用場景下,位圖連接索引不僅需要權衡索引的內存和CPU開銷,還需要進一步攷慮處理器平檯所帶來的性能收益和數據訪問延遲。提齣瞭基于服務的位圖連接索引管理機製,其主要特點體現在三箇方麵:獨立于數據庫的自管理索引機製;基于存儲空間約束的TOP K關鍵字位圖連接索引機製;處理器敏感(processor-conscious)的位圖連接索引技術。索引服務將索引從數據庫中內置的數據結構變成數據庫外的索引服務層,通過對用戶查詢負載的分析模塊和索引服務管理模塊改變傳統的由數據庫管理員人工管理索引的模式,同時藉助于協處理器和內存雲技術提高索引服務的性能和靈活性。實驗測試結果錶明,索引服務機製能夠有效地提高索引存儲和訪問效率,在通用GPU的彊大併行處理能力的支持下,位圖連接索引服務的性能和數據庫整體查詢處理性能都得到瞭顯著的提升。
위도련접색인시수거창고중일충유효적우화표간련접조작성능적색인궤제。재대내존분석처리응용장경하,위도련접색인불부수요권형색인적내존화CPU개소,환수요진일보고필처리기평태소대래적성능수익화수거방문연지。제출료기우복무적위도련접색인관리궤제,기주요특점체현재삼개방면:독립우수거고적자관리색인궤제;기우존저공간약속적TOP K관건자위도련접색인궤제;처리기민감(processor-conscious)적위도련접색인기술。색인복무장색인종수거고중내치적수거결구변성수거고외적색인복무층,통과대용호사순부재적분석모괴화색인복무관리모괴개변전통적유수거고관리원인공관리색인적모식,동시차조우협처리기화내존운기술제고색인복무적성능화령활성。실험측시결과표명,색인복무궤제능구유효지제고색인존저화방문효솔,재통용GPU적강대병행처리능력적지지하,위도련접색인복무적성능화수거고정체사순처이성능도득도료현저적제승。
Bitmap join index is an effective index mechanism for optimizing join performance between tables in data warehouse. In big data in-memory analytical processing scenario, bitmap join index has to consider tradeoffs between memory and CPU cost. Moreover, new processor platform should also be considered for its performance gains and data access latency. This paper proposes a service oriented bitmap join index mechanism, its main characteristics can be sum-marized as follows:independent of database as a self-management index mechanism, memory space constraint TOP K keywords bitmap join index mechanism, processor-conscious bitmap join index technique. The bitmap join index service removes the built-in bitmap join index from database as an outside bitmap join index service layer, the query workloads analysis and index management models change the traditional DBA manual management on index. Furthermore, bitmap join index service mechanism can effectively promote performance of bitmap join index service and make it more flexi-ble. The experimental results show that bitmap join index service mechanism can effectively promote efficiency of index storage and access, with parallel processing power of GPGPU, the performance of bitmap join index service and the whole database query processing can be markedly promoted.