计算机工程
計算機工程
계산궤공정
COMPUTER ENGINEERING
2014年
6期
148-153
,共6页
机器学习%在线学习%随机优化%稀疏性%L1+L2正则化%收敛速度
機器學習%在線學習%隨機優化%稀疏性%L1+L2正則化%收斂速度
궤기학습%재선학습%수궤우화%희소성%L1+L2정칙화%수렴속도
machine learning%online learning%stochastic optimization%sparsity%L1 and L2 regularization%convergence rate
Pegasos算法是求解大规模支持向量机问题的有效方法,在随机梯度下降过程中植入多阶段循环步骤,能使该算法得到最优的收敛速度O(1/T).COMID算法是由镜面下降算法推广得到的正则化随机形式,可保证正则化项的结构,但对于强凸的优化问题,该算法的收敛速度仅为O(logT/T).为此,在COMID算法中引入多阶段循环步骤,提出一种求解L1+L2混合正则化项问题的最优正则化镜面下降算法,证明其具有最优的收敛速度O(1/T),以及与COMID算法相同的稀疏性.在大规模数据库上的实验结果验证了理论分析的正确性和所提算法的有效性.
Pegasos算法是求解大規模支持嚮量機問題的有效方法,在隨機梯度下降過程中植入多階段循環步驟,能使該算法得到最優的收斂速度O(1/T).COMID算法是由鏡麵下降算法推廣得到的正則化隨機形式,可保證正則化項的結構,但對于彊凸的優化問題,該算法的收斂速度僅為O(logT/T).為此,在COMID算法中引入多階段循環步驟,提齣一種求解L1+L2混閤正則化項問題的最優正則化鏡麵下降算法,證明其具有最優的收斂速度O(1/T),以及與COMID算法相同的稀疏性.在大規模數據庫上的實驗結果驗證瞭理論分析的正確性和所提算法的有效性.
Pegasos산법시구해대규모지지향량궤문제적유효방법,재수궤제도하강과정중식입다계단순배보취,능사해산법득도최우적수렴속도O(1/T).COMID산법시유경면하강산법추엄득도적정칙화수궤형식,가보증정칙화항적결구,단대우강철적우화문제,해산법적수렴속도부위O(logT/T).위차,재COMID산법중인입다계단순배보취,제출일충구해L1+L2혼합정칙화항문제적최우정칙화경면하강산법,증명기구유최우적수렴속도O(1/T),이급여COMID산법상동적희소성.재대규모수거고상적실험결과험증료이론분석적정학성화소제산법적유효성.
