电子学报
電子學報
전자학보
ACTA ELECTRONICA SINICA
2005年
12期
2272-2277
,共6页
模型选择%广义Kullback-Leibler距离%曲率立体阵%解轨迹%未来残差
模型選擇%廣義Kullback-Leibler距離%麯率立體陣%解軌跡%未來殘差
모형선택%엄의Kullback-Leibler거리%곡솔입체진%해궤적%미래잔차
模型选择的目标就是识别产生给定数据的模型.通常模型的好坏由模型的泛化能力来度量,而泛化能力包含模型对给定数据的拟合度和模型自身复杂度两个方面.本文从信息几何的观点使用定义在流形上的广义KL距离来度量模型的拟合度;另一方面从微分几何的观点用曲率的概念来度量模型的内在复杂度;因此,拟合度和复杂度的表示都具有在参数变换下保持不变的特点.通过理论分析,我们证明了用于表示模型预测能力的未来残差与模型固有曲率的关系.由此提出一种新的基于广义KL距离和曲率的模型选择准则KLCIC.该准则不仅考虑了样本大小、参数个数和函数形式等影响复杂度的因素,而且具有非常清晰直观的几何意义.实验结果表明该方法的有效性.
模型選擇的目標就是識彆產生給定數據的模型.通常模型的好壞由模型的汎化能力來度量,而汎化能力包含模型對給定數據的擬閤度和模型自身複雜度兩箇方麵.本文從信息幾何的觀點使用定義在流形上的廣義KL距離來度量模型的擬閤度;另一方麵從微分幾何的觀點用麯率的概唸來度量模型的內在複雜度;因此,擬閤度和複雜度的錶示都具有在參數變換下保持不變的特點.通過理論分析,我們證明瞭用于錶示模型預測能力的未來殘差與模型固有麯率的關繫.由此提齣一種新的基于廣義KL距離和麯率的模型選擇準則KLCIC.該準則不僅攷慮瞭樣本大小、參數箇數和函數形式等影響複雜度的因素,而且具有非常清晰直觀的幾何意義.實驗結果錶明該方法的有效性.
모형선택적목표취시식별산생급정수거적모형.통상모형적호배유모형적범화능력래도량,이범화능력포함모형대급정수거적의합도화모형자신복잡도량개방면.본문종신식궤하적관점사용정의재류형상적엄의KL거리래도량모형적의합도;령일방면종미분궤하적관점용곡솔적개념래도량모형적내재복잡도;인차,의합도화복잡도적표시도구유재삼수변환하보지불변적특점.통과이론분석,아문증명료용우표시모형예측능력적미래잔차여모형고유곡솔적관계.유차제출일충신적기우엄의KL거리화곡솔적모형선택준칙KLCIC.해준칙불부고필료양본대소、삼수개수화함수형식등영향복잡도적인소,이차구유비상청석직관적궤하의의.실험결과표명해방법적유효성.
