计算机学报
計算機學報
계산궤학보
Chinese Journal of Computers
2015年
10期
2054-2063
,共10页
陈振宏%兰艳艳%郭嘉丰%程学旗
陳振宏%蘭豔豔%郭嘉豐%程學旂
진진굉%란염염%곽가봉%정학기
分布式%随机梯度下降%规范化%模型合并%社交网络%社会计算
分佈式%隨機梯度下降%規範化%模型閤併%社交網絡%社會計算
분포식%수궤제도하강%규범화%모형합병%사교망락%사회계산
distributed%stochastic gradient descent%standardized%model combine%social networks%social computing
大规模随机梯度下降算法是近年来的热点研究问题,提高其收敛速度和性能具有重要的应用价值.大规模随机梯度下降算法可以分为数据并行和模型并行两大类,在数据并行算法中,模型合并是一种比较常用的策略.目前.基于模型合并的随机梯度下降算法普遍采用平均加权方式进行合并,虽然取得了不错的效果,但是,这种方式忽略了参与合并的模型的内在差异性,最终导致算法收敛速度慢,模型的性能及稳定性较差.针对上述问题,该文在分布式场景下,提出了基于模型差异进行合并的策略,差异性主要体现在两方面,各模型在其训练数据上错误率的差异和训练不同阶段模型合并策略的差异.此外,该文对合并后的模型采用规范化技术,将其投射到与合并前模型Frobenius范数相同的球体上,提高了模型的收敛性能.作者在Epsilon、RCV1-v2和URL 3个数据集上,验证了提出的基于差异合并的分布式随机梯度下降算法相对于平均加权方式具有收敛速度更快、模型性能更好的性质.
大規模隨機梯度下降算法是近年來的熱點研究問題,提高其收斂速度和性能具有重要的應用價值.大規模隨機梯度下降算法可以分為數據併行和模型併行兩大類,在數據併行算法中,模型閤併是一種比較常用的策略.目前.基于模型閤併的隨機梯度下降算法普遍採用平均加權方式進行閤併,雖然取得瞭不錯的效果,但是,這種方式忽略瞭參與閤併的模型的內在差異性,最終導緻算法收斂速度慢,模型的性能及穩定性較差.針對上述問題,該文在分佈式場景下,提齣瞭基于模型差異進行閤併的策略,差異性主要體現在兩方麵,各模型在其訓練數據上錯誤率的差異和訓練不同階段模型閤併策略的差異.此外,該文對閤併後的模型採用規範化技術,將其投射到與閤併前模型Frobenius範數相同的毬體上,提高瞭模型的收斂性能.作者在Epsilon、RCV1-v2和URL 3箇數據集上,驗證瞭提齣的基于差異閤併的分佈式隨機梯度下降算法相對于平均加權方式具有收斂速度更快、模型性能更好的性質.
대규모수궤제도하강산법시근년래적열점연구문제,제고기수렴속도화성능구유중요적응용개치.대규모수궤제도하강산법가이분위수거병행화모형병행량대류,재수거병행산법중,모형합병시일충비교상용적책략.목전.기우모형합병적수궤제도하강산법보편채용평균가권방식진행합병,수연취득료불착적효과,단시,저충방식홀략료삼여합병적모형적내재차이성,최종도치산법수렴속도만,모형적성능급은정성교차.침대상술문제,해문재분포식장경하,제출료기우모형차이진행합병적책략,차이성주요체현재량방면,각모형재기훈련수거상착오솔적차이화훈련불동계단모형합병책략적차이.차외,해문대합병후적모형채용규범화기술,장기투사도여합병전모형Frobenius범수상동적구체상,제고료모형적수렴성능.작자재Epsilon、RCV1-v2화URL 3개수거집상,험증료제출적기우차이합병적분포식수궤제도하강산법상대우평균가권방식구유수렴속도경쾌、모형성능경호적성질.
