东南大学学报（自然科学版）
東南大學學報（自然科學版）
동남대학학보（자연과학판）
JOURNAL OF SOUTHEAST UNIVERSITY
2011年
z1期
152-155
,共4页
自然梯度法%多层感知器%Fisher信息矩阵%Fisher优效%Cramer-Rao不等式
自然梯度法%多層感知器%Fisher信息矩陣%Fisher優效%Cramer-Rao不等式
자연제도법%다층감지기%Fisher신식구진%Fisher우효%Cramer-Rao불등식
在激活函数选为误差函数的条件下,给出了求Fisher信息矩阵逆的算法,并进行仿真验证.首先将自然梯度法应用于多层感知器学习中,并与BP(back-propagation)算法进行了比较,说明了自然梯度法能够加快学习速度,并且可能避免学习中出现平坦区现象,即使出现平坦区,也不会很严重.仿真验证了自然梯度法上述良好的学习性能,并且它渐近的逼近Cramer-Rao下界,从而验证了自然梯度学习是Fisher优效的,而通常的梯度法则不是Fisher优效的.另外,仿真也证实了自然梯度对训练样本中存在的噪声具有很好的鲁棒性.
在激活函數選為誤差函數的條件下,給齣瞭求Fisher信息矩陣逆的算法,併進行倣真驗證.首先將自然梯度法應用于多層感知器學習中,併與BP(back-propagation)算法進行瞭比較,說明瞭自然梯度法能夠加快學習速度,併且可能避免學習中齣現平坦區現象,即使齣現平坦區,也不會很嚴重.倣真驗證瞭自然梯度法上述良好的學習性能,併且它漸近的逼近Cramer-Rao下界,從而驗證瞭自然梯度學習是Fisher優效的,而通常的梯度法則不是Fisher優效的.另外,倣真也證實瞭自然梯度對訓練樣本中存在的譟聲具有很好的魯棒性.
재격활함수선위오차함수적조건하,급출료구Fisher신식구진역적산법,병진행방진험증.수선장자연제도법응용우다층감지기학습중,병여BP(back-propagation)산법진행료비교,설명료자연제도법능구가쾌학습속도,병차가능피면학습중출현평탄구현상,즉사출현평탄구,야불회흔엄중.방진험증료자연제도법상술량호적학습성능,병차타점근적핍근Cramer-Rao하계,종이험증료자연제도학습시Fisher우효적,이통상적제도법칙불시Fisher우효적.령외,방진야증실료자연제도대훈련양본중존재적조성구유흔호적로봉성.
