科学技术与工程
科學技術與工程
과학기술여공정
SCIENCE TECHNOLOGY AND ENGINEERING
2014年
33期
240-244
,共5页
卷积神经网络%卷积展开%矩阵乘法%CUDA%BLAS
捲積神經網絡%捲積展開%矩陣乘法%CUDA%BLAS
권적신경망락%권적전개%구진승법%CUDA%BLAS
convolutional neural networks%convolution unrolling%Matrix multiplication%CUDA%BLAS
卷积神经网络是机器学习领域一种广泛应用的方法,在深度学习中发挥着重要的作用.由于卷积神经网络一般需要多个层,而且训练数据通常都很大,所以网络训练可能需要几小时甚至很多天.目前虽然有一些利用GPU加速卷积神经网络训练的研究成果,但基本上都是实现方式复杂,需要技巧很高,而且容易出错.提出了一种简洁、高效的加速卷积神经网络训练的方法,其主要过程是将卷积层展开,这样卷积层和全连接层的主要训练步骤都可以用矩阵乘法表示;再利用BLAS库高效计算矩阵乘法.这种方法不需要过多考虑并行处理的细节和处理器的内核特点,在CPU和GPU上都能加速.实验证明,GPU上使用该方法比传统的CPU上的实现快了100多倍.
捲積神經網絡是機器學習領域一種廣汎應用的方法,在深度學習中髮揮著重要的作用.由于捲積神經網絡一般需要多箇層,而且訓練數據通常都很大,所以網絡訓練可能需要幾小時甚至很多天.目前雖然有一些利用GPU加速捲積神經網絡訓練的研究成果,但基本上都是實現方式複雜,需要技巧很高,而且容易齣錯.提齣瞭一種簡潔、高效的加速捲積神經網絡訓練的方法,其主要過程是將捲積層展開,這樣捲積層和全連接層的主要訓練步驟都可以用矩陣乘法錶示;再利用BLAS庫高效計算矩陣乘法.這種方法不需要過多攷慮併行處理的細節和處理器的內覈特點,在CPU和GPU上都能加速.實驗證明,GPU上使用該方法比傳統的CPU上的實現快瞭100多倍.
권적신경망락시궤기학습영역일충엄범응용적방법,재심도학습중발휘착중요적작용.유우권적신경망락일반수요다개층,이차훈련수거통상도흔대,소이망락훈련가능수요궤소시심지흔다천.목전수연유일사이용GPU가속권적신경망락훈련적연구성과,단기본상도시실현방식복잡,수요기교흔고,이차용역출착.제출료일충간길、고효적가속권적신경망락훈련적방법,기주요과정시장권적층전개,저양권적층화전련접층적주요훈련보취도가이용구진승법표시;재이용BLAS고고효계산구진승법.저충방법불수요과다고필병행처리적세절화처리기적내핵특점,재CPU화GPU상도능가속.실험증명,GPU상사용해방법비전통적CPU상적실현쾌료100다배.
