计算机研究与发展
計算機研究與髮展
계산궤연구여발전
JOURNAL OF COMPUTER RESEARCH AND DEVELOPMENT
2014年
9期
1901-1910
,共10页
姜纪远%夏良%章显%陶卿
薑紀遠%夏良%章顯%陶卿
강기원%하량%장현%도경
机器学习%随机优化%稀疏性%L1正则化%COMID
機器學習%隨機優化%稀疏性%L1正則化%COMID
궤기학습%수궤우화%희소성%L1정칙화%COMID
machine learning%stochastic optimization%sparsity%L1 regularization%COMID (composite objective mirror descent)
随机梯度下降(stochastic gradient descent,SGD)是一种求解大规模优化问题的简单高效方法,近期的研究表明,在求解强凸优化问题时其收敛速率可通过α-suffix平均技巧得到有效的提升.但SGD属于黑箱方法,难以得到正则化优化问题所期望的实际结构效果.另一方面,COMID (composite objective mirror descent)是一种能保证L1正则化结构的稀疏随机算法,但对于强凸优化问题其收敛速率仅为O(logT/T).主要考虑“L1+Hinge”优化问题,首先引入L2强凸项将其转化为强凸优化问题,进而将COMID算法和α-suffix平均技巧结合得到L1MD-α算法.证明了L1MD-α具有O(1/T)的收敛速率,并且获得了比COMID更好的稀疏性.大规模数据库上的实验验证了理论分析的正确性和所提算法的有效性.
隨機梯度下降(stochastic gradient descent,SGD)是一種求解大規模優化問題的簡單高效方法,近期的研究錶明,在求解彊凸優化問題時其收斂速率可通過α-suffix平均技巧得到有效的提升.但SGD屬于黑箱方法,難以得到正則化優化問題所期望的實際結構效果.另一方麵,COMID (composite objective mirror descent)是一種能保證L1正則化結構的稀疏隨機算法,但對于彊凸優化問題其收斂速率僅為O(logT/T).主要攷慮“L1+Hinge”優化問題,首先引入L2彊凸項將其轉化為彊凸優化問題,進而將COMID算法和α-suffix平均技巧結閤得到L1MD-α算法.證明瞭L1MD-α具有O(1/T)的收斂速率,併且穫得瞭比COMID更好的稀疏性.大規模數據庫上的實驗驗證瞭理論分析的正確性和所提算法的有效性.
수궤제도하강(stochastic gradient descent,SGD)시일충구해대규모우화문제적간단고효방법,근기적연구표명,재구해강철우화문제시기수렴속솔가통과α-suffix평균기교득도유효적제승.단SGD속우흑상방법,난이득도정칙화우화문제소기망적실제결구효과.령일방면,COMID (composite objective mirror descent)시일충능보증L1정칙화결구적희소수궤산법,단대우강철우화문제기수렴속솔부위O(logT/T).주요고필“L1+Hinge”우화문제,수선인입L2강철항장기전화위강철우화문제,진이장COMID산법화α-suffix평균기교결합득도L1MD-α산법.증명료L1MD-α구유O(1/T)적수렴속솔,병차획득료비COMID경호적희소성.대규모수거고상적실험험증료이론분석적정학성화소제산법적유효성.
