计算机研究与发展
計算機研究與髮展
계산궤연구여발전
JOURNAL OF COMPUTER RESEARCH AND DEVELOPMENT
2012年
7期
1494-1499
,共6页
孔康%陶卿%汪群山%储德军
孔康%陶卿%汪群山%儲德軍
공강%도경%왕군산%저덕군
L1正则化%Hinge损失%稀疏性%大规模数据%机器学习
L1正則化%Hinge損失%稀疏性%大規模數據%機器學習
L1정칙화%Hinge손실%희소성%대규모수거%궤기학습
Hinge损失函数是支持向量机(support vector machines,SVM)成功的关键,L1正则化在稀疏学习的研究中起关键作用.鉴于两者均是不可导函数,高阶梯度信息无法使用.利用随机次梯度方法系统研究L1正则化项的Hinge损失大规模数据问题求解.首先描述了直接次梯度方法和投影次梯度方法的随机算法形式,并对算法的收敛性和收敛速度进行了理论分析.大规模真实数据集上的实验表明,投影次梯度方法对于处理大规模稀疏数据具有更快的收敛速度和更好的稀疏性.实验进一步阐明了投影阈值对算法稀疏度的影响.
Hinge損失函數是支持嚮量機(support vector machines,SVM)成功的關鍵,L1正則化在稀疏學習的研究中起關鍵作用.鑒于兩者均是不可導函數,高階梯度信息無法使用.利用隨機次梯度方法繫統研究L1正則化項的Hinge損失大規模數據問題求解.首先描述瞭直接次梯度方法和投影次梯度方法的隨機算法形式,併對算法的收斂性和收斂速度進行瞭理論分析.大規模真實數據集上的實驗錶明,投影次梯度方法對于處理大規模稀疏數據具有更快的收斂速度和更好的稀疏性.實驗進一步闡明瞭投影閾值對算法稀疏度的影響.
Hinge손실함수시지지향량궤(support vector machines,SVM)성공적관건,L1정칙화재희소학습적연구중기관건작용.감우량자균시불가도함수,고계제도신식무법사용.이용수궤차제도방법계통연구L1정칙화항적Hinge손실대규모수거문제구해.수선묘술료직접차제도방법화투영차제도방법적수궤산법형식,병대산법적수렴성화수렴속도진행료이론분석.대규모진실수거집상적실험표명,투영차제도방법대우처리대규모희소수거구유경쾌적수렴속도화경호적희소성.실험진일보천명료투영역치대산법희소도적영향.
