CAJ | 학술논문

针对传统的并行哈希划分算法不能高效地利用多核处理器的并行资源,且不能较好处理有倾斜的输入数据的问题,提出了一种在多核处理器中基于MapReduce的哈希划分算法,并且提出了存储结构优化、多步划分优化、数据倾斜优化3种优化策略.该算法将输入数据分成若干块后提交给各个线程并行处理,并选择合适的策略避免写冲突,使其能够高效地利用多核处理器的并行资源.文中提出的哈希表能够提高cache效率,从而提升算法的整体性能.引入MapReduce模型可使多步哈希划分在Map过程和Reduce过程中分别进行;数据倾斜优化策略能使算法适应有倾斜的输入数据,且具有较好的效果.实验结果表明:在多核处理器中,文中提出的算法能够适应各种分布的输入数据,并且使哈希戈分的整体性能得到提升.
침대전통적병행합희화분산법불능고효지이용다핵처리기적병행자원,차불능교호처리유경사적수입수거적문제,제출료일충재다핵처리기중기우MapReduce적합희화분산법,병차제출료존저결구우화、다보화분우화、수거경사우화3충우화책략.해산법장수입수거분성약간괴후제교급각개선정병행처리,병선택합괄적책략피면사충돌,사기능구고효지이용다핵처리기적병행자원.문중제출적합희표능구제고cache효솔,종이제승산법적정체성능.인입MapReduce모형가사다보합희화분재Map과정화Reduce과정중분별진행;수거경사우화책략능사산법괄응유경사적수입수거,차구유교호적효과.실험결과표명:재다핵처리기중,문중제출적산법능구괄응각충분포적수입수거,병차사합희과분적정체성능득도제승.