CAJ | 학술논문

海量数据利用传统Apriori算法进行挖掘会浪费大量存储空间和通信资源,导致算法效率低下,因此,提出MapReduce框架下Aprioi算法的改进方法,首先采用水平划分的方法将MapReduce数据库分成n个独立的数据块,然后发送到采用动态负载均衡划分的m个工作节点上.每个节点扫描各自的数据块,产生局部候选频繁项集,计算每个候选频繁项集的支持度阈值并与最小支持度阈值进行比较以确定最终的频繁项集.改进后的算法可以减少各个节点之间的数据流动,只需要扫描两次事务数据库就能挖掘出全部频繁项集,节省扫描时间和存储空间,提高挖掘效率.
해량수거이용전통Apriori산법진행알굴회낭비대량존저공간화통신자원,도치산법효솔저하,인차,제출MapReduce광가하Aprioi산법적개진방법,수선채용수평화분적방법장MapReduce수거고분성n개독립적수거괴,연후발송도채용동태부재균형화분적m개공작절점상.매개절점소묘각자적수거괴,산생국부후선빈번항집,계산매개후선빈번항집적지지도역치병여최소지지도역치진행비교이학정최종적빈번항집.개진후적산법가이감소각개절점지간적수거류동,지수요소묘량차사무수거고취능알굴출전부빈번항집,절성소묘시간화존저공간,제고알굴효솔.