计算机研究与发展
計算機研究與髮展
계산궤연구여발전
JOURNAL OF COMPUTER RESEARCH AND DEVELOPMENT
2006年
4期
654-660
,共7页
齐英剑%罗四维%黄雅平%李爱军%刘蕴辉
齊英劍%囉四維%黃雅平%李愛軍%劉蘊輝
제영검%라사유%황아평%리애군%류온휘
随机前馈神经网络%期望最大化算法%最大熵%退火
隨機前饋神經網絡%期望最大化算法%最大熵%退火
수궤전궤신경망락%기망최대화산법%최대적%퇴화
使用EM算法训练随机多层前馈网具有低开销、易于实现和全局收敛的特点,在EM算法的基础上提出了一种训练随机多层前馈网络的新方法A-EM.A-EM算法利用热力学系统的最大熵原理计算网络中隐变量的条件概率,借鉴退火过程,引入温度参数,减小了初始参数值对最终结果的影响.该算法既保持了原EM算法的优点,又有利于训练结果收敛到全局极小.从数学角度证明了该算法的收敛性,同时,实验也证明了该算法的正确性和有效性.
使用EM算法訓練隨機多層前饋網具有低開銷、易于實現和全跼收斂的特點,在EM算法的基礎上提齣瞭一種訓練隨機多層前饋網絡的新方法A-EM.A-EM算法利用熱力學繫統的最大熵原理計算網絡中隱變量的條件概率,藉鑒退火過程,引入溫度參數,減小瞭初始參數值對最終結果的影響.該算法既保持瞭原EM算法的優點,又有利于訓練結果收斂到全跼極小.從數學角度證明瞭該算法的收斂性,同時,實驗也證明瞭該算法的正確性和有效性.
사용EM산법훈련수궤다층전궤망구유저개소、역우실현화전국수렴적특점,재EM산법적기출상제출료일충훈련수궤다층전궤망락적신방법A-EM.A-EM산법이용열역학계통적최대적원리계산망락중은변량적조건개솔,차감퇴화과정,인입온도삼수,감소료초시삼수치대최종결과적영향.해산법기보지료원EM산법적우점,우유리우훈련결과수렴도전국겁소.종수학각도증명료해산법적수렴성,동시,실험야증명료해산법적정학성화유효성.
