计算机研究与发展
計算機研究與髮展
계산궤연구여발전
Journal of Computer Research and Development
2015年
8期
1722-1734
,共13页
核方法%核选择%分类%核极化准则%广义核极化准则
覈方法%覈選擇%分類%覈極化準則%廣義覈極化準則
핵방법%핵선택%분류%핵겁화준칙%엄의핵겁화준칙
kernel method%kernel selection%classification%kernel polarization criterion%generalized kernel polarization criterion
核函数及其参数的选择是核方法研究中的一个基本却很困难的问题,高斯核是目前各类核方法中最常使用的一种核函数。关于高斯核参数的优化已有很多研究,然而这些方法大多存在时间复杂度高,或是算法实现困难,或是样本数据需服从多元正态分布的前提假设等不足。提出的广义核极化准则可用来解决分类问题中的高斯核参数优化,该准则通过保持类内局部结构信息及中心化核矩阵以更准确地刻画特征空间中类别间的分离度,进而获得更好的高斯核参数来提高分类性能。给出了广义核极化准则对应目标函数的近似最优解的存在唯一性证明,且由于该准则独立于学习算法,因此可用许多成熟的优化算法来寻找最优参数。此外,还补充了已有文献提出的局部核极化准则对应目标函数近似最优解的存在唯一性证明,并且指出该准则是所提出的广义核极化准则的一个特例。针对多分类问题,分别给出广义核极化准则及局部核极化准则的多分类拓展形式。在标准数据集上的实验结果表明所提准则的有效性。
覈函數及其參數的選擇是覈方法研究中的一箇基本卻很睏難的問題,高斯覈是目前各類覈方法中最常使用的一種覈函數。關于高斯覈參數的優化已有很多研究,然而這些方法大多存在時間複雜度高,或是算法實現睏難,或是樣本數據需服從多元正態分佈的前提假設等不足。提齣的廣義覈極化準則可用來解決分類問題中的高斯覈參數優化,該準則通過保持類內跼部結構信息及中心化覈矩陣以更準確地刻畫特徵空間中類彆間的分離度,進而穫得更好的高斯覈參數來提高分類性能。給齣瞭廣義覈極化準則對應目標函數的近似最優解的存在唯一性證明,且由于該準則獨立于學習算法,因此可用許多成熟的優化算法來尋找最優參數。此外,還補充瞭已有文獻提齣的跼部覈極化準則對應目標函數近似最優解的存在唯一性證明,併且指齣該準則是所提齣的廣義覈極化準則的一箇特例。針對多分類問題,分彆給齣廣義覈極化準則及跼部覈極化準則的多分類拓展形式。在標準數據集上的實驗結果錶明所提準則的有效性。
핵함수급기삼수적선택시핵방법연구중적일개기본각흔곤난적문제,고사핵시목전각류핵방법중최상사용적일충핵함수。관우고사핵삼수적우화이유흔다연구,연이저사방법대다존재시간복잡도고,혹시산법실현곤난,혹시양본수거수복종다원정태분포적전제가설등불족。제출적엄의핵겁화준칙가용래해결분류문제중적고사핵삼수우화,해준칙통과보지류내국부결구신식급중심화핵구진이경준학지각화특정공간중유별간적분리도,진이획득경호적고사핵삼수래제고분류성능。급출료엄의핵겁화준칙대응목표함수적근사최우해적존재유일성증명,차유우해준칙독립우학습산법,인차가용허다성숙적우화산법래심조최우삼수。차외,환보충료이유문헌제출적국부핵겁화준칙대응목표함수근사최우해적존재유일성증명,병차지출해준칙시소제출적엄의핵겁화준칙적일개특례。침대다분류문제,분별급출엄의핵겁화준칙급국부핵겁화준칙적다분류탁전형식。재표준수거집상적실험결과표명소제준칙적유효성。
The choice of kernel function is a basic and challenging problem in researches on kernel methods .Gaussian kernel is a popular and widely used one in various kernel methods ,and many universal kernel selection methods have been derived for Gaussian kernel .However ,these methods may have some disadvantages ,such as heavy computational complexity ,the difficulty of algorithm implement , and the requirement of the classes generated from underlying multivariate normal distributions .To remedy these problems ,generalized kernel polarization criterion has been proposed to tune the parameter of Gaussian kernel for classification tasks .By taking the within‐class local structure into account and centering the kernel matrix , the criterion does better in maximizing the class separability in the feature space .And the final optimized kernel parameter leads to a substantial improvement in the performance . Furthermore , the criterion function can be proved to have a determined approximate global minimum point . This good characteristic , coupled with its independence of the actual learning machine , makes the optimal parameter easier to find by many algorithms .Besides this , local kernel polarization criterion function , a special case of generalized kernel polarization criterion function ,can also be proved to have a determined approximate global minimum point . The extensions of generalized kernel polarization criterion and local kernel polarization criterion to the multiclass domain have been proposed . Experimental results show the effectiveness and efficiency of our proposed criteria .