控制理论与应用
控製理論與應用
공제이론여응용
CONTROL THEORY & APPLICATIONS
2014年
2期
140-147
,共8页
郭伟立%魏海坤%赵军圣%张侃健
郭偉立%魏海坤%趙軍聖%張侃健
곽위립%위해곤%조군골%장간건
多层感知器%神经网络%学习动态%奇异性%互反
多層感知器%神經網絡%學習動態%奇異性%互反
다층감지기%신경망락%학습동태%기이성%호반
multilayer perceptrons%neural networks%learning dynamics%singularity%opposite
多层感知器神经网络(MLPs)的学习过程经常发生一些奇异性行为,容易陷入平坦区,这都和MLPs的参数空间中存在的奇异性区域有直接关系.当MLPs的两个隐节点的权值接近互反时,置换对称性会导致学习困难.对MLPs的互反奇异性区域附近的学习动态进行分析.本文首先得到了平均学习方程的解析表达式,然后给出了互反奇异性区域附近的理论学习轨迹,并通过数值方法得到了其附近的实际学习轨迹.通过仿真实验,分别观察了MLPs的平均学习动态,批处理学习动态和在线学习动态,并进行了比较分析.
多層感知器神經網絡(MLPs)的學習過程經常髮生一些奇異性行為,容易陷入平坦區,這都和MLPs的參數空間中存在的奇異性區域有直接關繫.噹MLPs的兩箇隱節點的權值接近互反時,置換對稱性會導緻學習睏難.對MLPs的互反奇異性區域附近的學習動態進行分析.本文首先得到瞭平均學習方程的解析錶達式,然後給齣瞭互反奇異性區域附近的理論學習軌跡,併通過數值方法得到瞭其附近的實際學習軌跡.通過倣真實驗,分彆觀察瞭MLPs的平均學習動態,批處理學習動態和在線學習動態,併進行瞭比較分析.
다층감지기신경망락(MLPs)적학습과정경상발생일사기이성행위,용역함입평탄구,저도화MLPs적삼수공간중존재적기이성구역유직접관계.당MLPs적량개은절점적권치접근호반시,치환대칭성회도치학습곤난.대MLPs적호반기이성구역부근적학습동태진행분석.본문수선득도료평균학습방정적해석표체식,연후급출료호반기이성구역부근적이론학습궤적,병통과수치방법득도료기부근적실제학습궤적.통과방진실험,분별관찰료MLPs적평균학습동태,비처이학습동태화재선학습동태,병진행료비교분석.
