计算机研究与发展
計算機研究與髮展
계산궤연구여발전
JOURNAL OF COMPUTER RESEARCH AND DEVELOPMENT
2015年
5期
1098-1108
,共11页
李涛%刘学臣%张帅%王恺%杨愚鲁
李濤%劉學臣%張帥%王愷%楊愚魯
리도%류학신%장수%왕개%양우로
支持向量机训练%计算统一设备架构%消息传递接口%页锁定内存%CPU-GPU异构系统
支持嚮量機訓練%計算統一設備架構%消息傳遞接口%頁鎖定內存%CPU-GPU異構繫統
지지향량궤훈련%계산통일설비가구%소식전체접구%혈쇄정내존%CPU-GPU이구계통
support vector machine (SVM) training%compute unified device architecture (CUDA)%message passing interface (MPI)%page-locked host memory%CPU-GPU heterogeneous system
支持向量机(support vector machine,SVM)是一种广泛应用于统计分类以及回归分析的监督学习方法.基于内点法(interior point method,IPM)的SVM训练具有空间占用小、送代趋近快等优点,但随着训练数据集规模的增大,仍面临处理速度与存储空间所带来的双重挑战.针对此问题,提出利用CPU-GPU异构系统进行大规模SVM训练的混合并行机制.首先利用计算统一设备架构(compute unified device architecture,CUDA)对基于内点法的SVM训练算法的计算密集部分并行化,并改进算法使其适合利用cuBLAS线性代数库加以实现,提高训练速度;然后利用消息传递接口(message passing interface,MPI)在集群系统上实现CUDA加速后算法的分布并行化,利用分布存储有效地增加所处理数据集规模并减少训练时间;进而基于Fermi架构支持的页锁定内存技术,打破了GPU设备存储容量不足对数据集规模的限制.结果表明,利用消息传递接口(MPI)和CUDA混合编程模型以及页锁定内存数据存储策略,能够在CPU-GPU异构系统上实现大规模数据集的高效并行SVM训练,提升其在大数据处理领域的计算性能和应用能力.
支持嚮量機(support vector machine,SVM)是一種廣汎應用于統計分類以及迴歸分析的鑑督學習方法.基于內點法(interior point method,IPM)的SVM訓練具有空間佔用小、送代趨近快等優點,但隨著訓練數據集規模的增大,仍麵臨處理速度與存儲空間所帶來的雙重挑戰.針對此問題,提齣利用CPU-GPU異構繫統進行大規模SVM訓練的混閤併行機製.首先利用計算統一設備架構(compute unified device architecture,CUDA)對基于內點法的SVM訓練算法的計算密集部分併行化,併改進算法使其適閤利用cuBLAS線性代數庫加以實現,提高訓練速度;然後利用消息傳遞接口(message passing interface,MPI)在集群繫統上實現CUDA加速後算法的分佈併行化,利用分佈存儲有效地增加所處理數據集規模併減少訓練時間;進而基于Fermi架構支持的頁鎖定內存技術,打破瞭GPU設備存儲容量不足對數據集規模的限製.結果錶明,利用消息傳遞接口(MPI)和CUDA混閤編程模型以及頁鎖定內存數據存儲策略,能夠在CPU-GPU異構繫統上實現大規模數據集的高效併行SVM訓練,提升其在大數據處理領域的計算性能和應用能力.
지지향량궤(support vector machine,SVM)시일충엄범응용우통계분류이급회귀분석적감독학습방법.기우내점법(interior point method,IPM)적SVM훈련구유공간점용소、송대추근쾌등우점,단수착훈련수거집규모적증대,잉면림처리속도여존저공간소대래적쌍중도전.침대차문제,제출이용CPU-GPU이구계통진행대규모SVM훈련적혼합병행궤제.수선이용계산통일설비가구(compute unified device architecture,CUDA)대기우내점법적SVM훈련산법적계산밀집부분병행화,병개진산법사기괄합이용cuBLAS선성대수고가이실현,제고훈련속도;연후이용소식전체접구(message passing interface,MPI)재집군계통상실현CUDA가속후산법적분포병행화,이용분포존저유효지증가소처리수거집규모병감소훈련시간;진이기우Fermi가구지지적혈쇄정내존기술,타파료GPU설비존저용량불족대수거집규모적한제.결과표명,이용소식전체접구(MPI)화CUDA혼합편정모형이급혈쇄정내존수거존저책략,능구재CPU-GPU이구계통상실현대규모수거집적고효병행SVM훈련,제승기재대수거처리영역적계산성능화응용능력.