计算机仿真
計算機倣真
계산궤방진
COMPUTER SIMULATION
2008年
4期
172-174,209
,共4页
张池平%唐蕾%苏小红%马培军
張池平%唐蕾%囌小紅%馬培軍
장지평%당뢰%소소홍%마배군
神经网络%拟牛顿法%海森矩阵%线性搜索
神經網絡%擬牛頓法%海森矩陣%線性搜索
신경망락%의우돈법%해삼구진%선성수색
传统BP神经网络学习算法有学习速度慢、精度不高、易于陷入局部极小值、不稳定等问题,DFP神经网络学习算法是最优化理论中一类典型的拟牛顿法,具有超线性收敛速度和全局收敛性.但普通DFP算法有数值不稳定的缺陷,在处理大规模网络的学习问题时容易失效;在算法进入到饱和区域、接近最小值的时候,普通DFP算法会产生溢出错误.通过放大权值更新向量和权值导数更新向量,改进拟Hesse逆矩阵的求解,并结合线性搜索和L-M算法,改善了方法的稳定性,解决了算法失效的问题,同时保证了高效的学习速度和较高的学习精度.与目前应用最广泛的BP学习算法L-M 算法相比,改进的DFP算法具有与其相同的学习速度,计算量小,学习精度高,更适用于大残量问题.
傳統BP神經網絡學習算法有學習速度慢、精度不高、易于陷入跼部極小值、不穩定等問題,DFP神經網絡學習算法是最優化理論中一類典型的擬牛頓法,具有超線性收斂速度和全跼收斂性.但普通DFP算法有數值不穩定的缺陷,在處理大規模網絡的學習問題時容易失效;在算法進入到飽和區域、接近最小值的時候,普通DFP算法會產生溢齣錯誤.通過放大權值更新嚮量和權值導數更新嚮量,改進擬Hesse逆矩陣的求解,併結閤線性搜索和L-M算法,改善瞭方法的穩定性,解決瞭算法失效的問題,同時保證瞭高效的學習速度和較高的學習精度.與目前應用最廣汎的BP學習算法L-M 算法相比,改進的DFP算法具有與其相同的學習速度,計算量小,學習精度高,更適用于大殘量問題.
전통BP신경망락학습산법유학습속도만、정도불고、역우함입국부겁소치、불은정등문제,DFP신경망락학습산법시최우화이론중일류전형적의우돈법,구유초선성수렴속도화전국수렴성.단보통DFP산법유수치불은정적결함,재처리대규모망락적학습문제시용역실효;재산법진입도포화구역、접근최소치적시후,보통DFP산법회산생일출착오.통과방대권치경신향량화권치도수경신향량,개진의Hesse역구진적구해,병결합선성수색화L-M산법,개선료방법적은정성,해결료산법실효적문제,동시보증료고효적학습속도화교고적학습정도.여목전응용최엄범적BP학습산법L-M 산법상비,개진적DFP산법구유여기상동적학습속도,계산량소,학습정도고,경괄용우대잔량문제.
