计算机工程
計算機工程
계산궤공정
COMPUTER ENGINEERING
2014年
10期
43-46,51
,共5页
实时数据仓库%数据转换%数据流更新%基于流的连接%哈希索引%偏斜分布
實時數據倉庫%數據轉換%數據流更新%基于流的連接%哈希索引%偏斜分佈
실시수거창고%수거전환%수거류경신%기우류적련접%합희색인%편사분포
real-time data warehouse%data transformation%data stream update%stream-based join%Hash index%skewed distribution
为实现数据仓库中数据的高效集成,针对数据偏斜分布现象,提出一种改进的数据流更新算法EH-JOIN。该算法对传统散列连接方法进行改进,利用索引将部分频繁使用的主数据存储在内存中,解决了高速数据流下的磁盘频繁访问问题。实验结果表明,与MESHJOIN算法和R-MESHJOIN算法相比,EH-JOIN算法的服务速率在磁盘存储关系集保持适当大小时分别提高了96%和81%,在内存大小不同时提高了57%和48%。
為實現數據倉庫中數據的高效集成,針對數據偏斜分佈現象,提齣一種改進的數據流更新算法EH-JOIN。該算法對傳統散列連接方法進行改進,利用索引將部分頻繁使用的主數據存儲在內存中,解決瞭高速數據流下的磁盤頻繁訪問問題。實驗結果錶明,與MESHJOIN算法和R-MESHJOIN算法相比,EH-JOIN算法的服務速率在磁盤存儲關繫集保持適噹大小時分彆提高瞭96%和81%,在內存大小不同時提高瞭57%和48%。
위실현수거창고중수거적고효집성,침대수거편사분포현상,제출일충개진적수거류경신산법EH-JOIN。해산법대전통산렬련접방법진행개진,이용색인장부분빈번사용적주수거존저재내존중,해결료고속수거류하적자반빈번방문문제。실험결과표명,여MESHJOIN산법화R-MESHJOIN산법상비,EH-JOIN산법적복무속솔재자반존저관계집보지괄당대소시분별제고료96%화81%,재내존대소불동시제고료57%화48%。
To achieve data efficient integration in data warehouse, aiming at the phenomenon of data skew distribution,this paper proposes an improved data stream update algorithm---Extended Hybrid Join( EH-JOIN) . The algorithm improves the traditional Hash join method,and it can adapt to common skewed data and greatly reduce the disk I/O cost through using index structure and storing some parts of the master data in memory. Experimental results show that the service rate of proposed algorithm is improved by 96% and 80% compared with MESHJOIN algorithm and R-MESHJOUIN algorithm as the relation set keeps an appropriate size,and the service rate of proposed algorithm is improved by 57% and 48% compared with MESHJOIN algorithm and R-MESHJOUIN algorithm as the memory size differs.
