电子测试
電子測試
전자측시
ELECTRONIC TEST
2013年
22期
54-56
,共3页
李劲%董天临%李青侠
李勁%董天臨%李青俠
리경%동천림%리청협
BP算法%局部极小%泛化性能
BP算法%跼部極小%汎化性能
BP산법%국부겁소%범화성능
back propagation algorithm%local minimal value%generalization capacity
误差反向传播神经网络(BP神经网络)的误差曲面是一个多极值的不规则曲面,标准BP算法是一种单调的梯度下降算法,在训练过程中会收敛到其中的某一个极值而失去寻找到具有更佳泛化能力的解的可能。本文提出一种振动重力场训练算法,通过对神经网络的权值进行正态分布的随机调整,让其以一定概率跳出当前局部最优解的收敛域,同时一直以梯度下降算法引导解向泛化误差更小的方向下降,这样可以以更高的概率得到泛化误差更小的解。面向一种衬底集成波导功分器的优化实验表明相比较于标准BP算法这种训练方法可寻找到泛化性能更好的神经网络。
誤差反嚮傳播神經網絡(BP神經網絡)的誤差麯麵是一箇多極值的不規則麯麵,標準BP算法是一種單調的梯度下降算法,在訓練過程中會收斂到其中的某一箇極值而失去尋找到具有更佳汎化能力的解的可能。本文提齣一種振動重力場訓練算法,通過對神經網絡的權值進行正態分佈的隨機調整,讓其以一定概率跳齣噹前跼部最優解的收斂域,同時一直以梯度下降算法引導解嚮汎化誤差更小的方嚮下降,這樣可以以更高的概率得到汎化誤差更小的解。麵嚮一種襯底集成波導功分器的優化實驗錶明相比較于標準BP算法這種訓練方法可尋找到汎化性能更好的神經網絡。
오차반향전파신경망락(BP신경망락)적오차곡면시일개다겁치적불규칙곡면,표준BP산법시일충단조적제도하강산법,재훈련과정중회수렴도기중적모일개겁치이실거심조도구유경가범화능력적해적가능。본문제출일충진동중력장훈련산법,통과대신경망락적권치진행정태분포적수궤조정,양기이일정개솔도출당전국부최우해적수렴역,동시일직이제도하강산법인도해향범화오차경소적방향하강,저양가이이경고적개솔득도범화오차경소적해。면향일충츤저집성파도공분기적우화실험표명상비교우표준BP산법저충훈련방법가심조도범화성능경호적신경망락。
The error sruface of a back propagation artificial neural network has multi minimal value while standard back propagation algorithm is a monotonically decreasing algorithm.A Vibration Gravity Field meth-od is proposed.Periodic normally distributed random ajustment of the weight and gradient descent training help the neural network jumping out of the local minimal value area and falling into the lower region of generalization error. Experiments show that Vibration Gravity Field method has better performance than standard BP algrithm, and it can enhance the generalization capacity of a neural network.