软件学报
軟件學報
연건학보
JOURNAL OF SOFTWARE
2012年
8期
2032-2041
,共10页
赵彦荣%王伟平%孟丹%张书彬%李均
趙彥榮%王偉平%孟丹%張書彬%李均
조언영%왕위평%맹단%장서빈%리균
大数据%Hadoop%连接查询处理%HashMapJoin
大數據%Hadoop%連接查詢處理%HashMapJoin
대수거%Hadoop%련접사순처리%HashMapJoin
提出了一种并行连接查询处理算法CoLocationHashMapJoin(CHMJ).首先,设计了多副本一致性哈希算法,将具有连接关系的表根据其连接属性的哈希值在机群中进行分布,在提升了连接查询处理中数据本地性的同时,保证了数据的可用性;其次,基于多副本一致性哈希数据分布,提出了HashMapJoin并行连接查询处理算法,有效地提高了连接查询的处理效率.CHMJ算法在腾讯公司的数据仓库系统中进行了应用,结果表明,CHMJ连接查询的处理效率比Hive系统提高了近5倍.
提齣瞭一種併行連接查詢處理算法CoLocationHashMapJoin(CHMJ).首先,設計瞭多副本一緻性哈希算法,將具有連接關繫的錶根據其連接屬性的哈希值在機群中進行分佈,在提升瞭連接查詢處理中數據本地性的同時,保證瞭數據的可用性;其次,基于多副本一緻性哈希數據分佈,提齣瞭HashMapJoin併行連接查詢處理算法,有效地提高瞭連接查詢的處理效率.CHMJ算法在騰訊公司的數據倉庫繫統中進行瞭應用,結果錶明,CHMJ連接查詢的處理效率比Hive繫統提高瞭近5倍.
제출료일충병행련접사순처리산법CoLocationHashMapJoin(CHMJ).수선,설계료다부본일치성합희산법,장구유련접관계적표근거기련접속성적합희치재궤군중진행분포,재제승료련접사순처리중수거본지성적동시,보증료수거적가용성;기차,기우다부본일치성합희수거분포,제출료HashMapJoin병행련접사순처리산법,유효지제고료련접사순적처리효솔.CHMJ산법재등신공사적수거창고계통중진행료응용,결과표명,CHMJ련접사순적처리효솔비Hive계통제고료근5배.