计算机科学
計算機科學
계산궤과학
Computer Science
2015年
11期
80-83,103
,共5页
大数据%MIC%关系挖掘%MapReduce%并行化
大數據%MIC%關繫挖掘%MapReduce%併行化
대수거%MIC%관계알굴%MapReduce%병행화
Big data%MIC%Relationship mining%MapReduce%Parallelization
MIC是一种分析变量之间可能存在的关系的方法.该方法不仅能够有效识别出变量间各种复杂类型的关系,还能够准确描述噪音数据对存在关系的影响,对探索大数据集中变量之间的关系具有重要意义.针对该方法在处理包含大量变量的数据集时性能方面的不足,首次对它进行了基于MapReduce模型的并行化.提出的并行化方法首先对原算法进行更细颗粒度的划分,然后采用一种基于Map-Reduce-Map任务链的并行模型,该模型不仅有效地增加了并行的计算单元,还大大地降低了不必要的系统开销.最后,通过理论分析和实验验证得出,改进后的算法与原算法相比,在准确率方面具有等效性,运行速度大幅度提升且具有良好的可扩展性;实验同时指出了算法性能的提升与系统资源的关系.
MIC是一種分析變量之間可能存在的關繫的方法.該方法不僅能夠有效識彆齣變量間各種複雜類型的關繫,還能夠準確描述譟音數據對存在關繫的影響,對探索大數據集中變量之間的關繫具有重要意義.針對該方法在處理包含大量變量的數據集時性能方麵的不足,首次對它進行瞭基于MapReduce模型的併行化.提齣的併行化方法首先對原算法進行更細顆粒度的劃分,然後採用一種基于Map-Reduce-Map任務鏈的併行模型,該模型不僅有效地增加瞭併行的計算單元,還大大地降低瞭不必要的繫統開銷.最後,通過理論分析和實驗驗證得齣,改進後的算法與原算法相比,在準確率方麵具有等效性,運行速度大幅度提升且具有良好的可擴展性;實驗同時指齣瞭算法性能的提升與繫統資源的關繫.
MIC시일충분석변량지간가능존재적관계적방법.해방법불부능구유효식별출변량간각충복잡류형적관계,환능구준학묘술조음수거대존재관계적영향,대탐색대수거집중변량지간적관계구유중요의의.침대해방법재처리포함대량변량적수거집시성능방면적불족,수차대타진행료기우MapReduce모형적병행화.제출적병행화방법수선대원산법진행경세과립도적화분,연후채용일충기우Map-Reduce-Map임무련적병행모형,해모형불부유효지증가료병행적계산단원,환대대지강저료불필요적계통개소.최후,통과이론분석화실험험증득출,개진후적산법여원산법상비,재준학솔방면구유등효성,운행속도대폭도제승차구유량호적가확전성;실험동시지출료산법성능적제승여계통자원적관계.