电讯技术
電訊技術
전신기술
TELECOMMUNICATIONS ENGINEERING
2013年
7期
895-898
,共4页
语音识别%深层神经网络%预训练%初始化%激励函数
語音識彆%深層神經網絡%預訓練%初始化%激勵函數
어음식별%심층신경망락%예훈련%초시화%격려함수
speech recognition%deep neural network%pre-training%initialization%activation function
在基于神经网络的语音识别任务中，提出根据激励函数二阶导数优化网络预训练阶段中权值初始化的方法。利用激励函数的非线性区域和自变量呈高斯分布的特性，寻找权值分布的较优方差以提升训练速度。通过比较同一学习速率下不同初始化数值对收敛速度的影响，发现此种方法可以加快预训练阶段的速度，提升神经网络训练的效率。
在基于神經網絡的語音識彆任務中，提齣根據激勵函數二階導數優化網絡預訓練階段中權值初始化的方法。利用激勵函數的非線性區域和自變量呈高斯分佈的特性，尋找權值分佈的較優方差以提升訓練速度。通過比較同一學習速率下不同初始化數值對收斂速度的影響，髮現此種方法可以加快預訓練階段的速度，提升神經網絡訓練的效率。
재기우신경망락적어음식별임무중，제출근거격려함수이계도수우화망락예훈련계단중권치초시화적방법。이용격려함수적비선성구역화자변량정고사분포적특성，심조권치분포적교우방차이제승훈련속도。통과비교동일학습속솔하불동초시화수치대수렴속도적영향，발현차충방법가이가쾌예훈련계단적속도，제승신경망락훈련적효솔。
Second derivative of activation function is used to optimize weight initialization in deep neural network pre-training phase within speech recognition tasks.By using the non-linear region of activation function and independent variables′Gaussian distribution,a method of finding the best variance is proposed in order to speed the training up. Comparison of convergence rates in different weight initialization at the same learning rate shows that this method can accelerate the speed of the pre-training phase and enhance the efficiency of neural network training.
