电子学报
電子學報
전자학보
ACTA ELECTRONICA SINICA
2013年
4期
768-775
,共8页
陶卿%朱烨雷%罗强%孔康
陶卿%硃燁雷%囉彊%孔康
도경%주엽뢰%라강%공강
机器学习%优化%大规模%坐标下降方法%非光滑损失%结构学习%COMID
機器學習%優化%大規模%坐標下降方法%非光滑損失%結構學習%COMID
궤기학습%우화%대규모%좌표하강방법%비광활손실%결구학습%COMID
坐标下降方法以简洁的操作流程、低廉的计算代价和快速的实际收敛效果,成为处理大规模优化最有效的方法之一.但目前几乎所有的坐标下降方法都由于子问题解析求解的需要而假设损失函数的光滑性.本文在结构学习的框架下,在采用Comid方法求解随机挑选单变量子问题的基础上,提出了一种新的关于非光滑损失的随机坐标下降方法.理论分析表明本文所提出的算法在一般凸条件下可以得到O(√t/t)的收敛速度,在强凸条件下可以得到O(lnt/t)的收敛速度.实验结果表明本文所提出的算法对正则化Hinge损失问题实现了坐标优化预期的效果.
坐標下降方法以簡潔的操作流程、低廉的計算代價和快速的實際收斂效果,成為處理大規模優化最有效的方法之一.但目前幾乎所有的坐標下降方法都由于子問題解析求解的需要而假設損失函數的光滑性.本文在結構學習的框架下,在採用Comid方法求解隨機挑選單變量子問題的基礎上,提齣瞭一種新的關于非光滑損失的隨機坐標下降方法.理論分析錶明本文所提齣的算法在一般凸條件下可以得到O(√t/t)的收斂速度,在彊凸條件下可以得到O(lnt/t)的收斂速度.實驗結果錶明本文所提齣的算法對正則化Hinge損失問題實現瞭坐標優化預期的效果.
좌표하강방법이간길적조작류정、저렴적계산대개화쾌속적실제수렴효과,성위처리대규모우화최유효적방법지일.단목전궤호소유적좌표하강방법도유우자문제해석구해적수요이가설손실함수적광활성.본문재결구학습적광가하,재채용Comid방법구해수궤도선단변양자문제적기출상,제출료일충신적관우비광활손실적수궤좌표하강방법.이론분석표명본문소제출적산법재일반철조건하가이득도O(√t/t)적수렴속도,재강철조건하가이득도O(lnt/t)적수렴속도.실험결과표명본문소제출적산법대정칙화Hinge손실문제실현료좌표우화예기적효과.
