南京大学学报(自然科学版)
南京大學學報(自然科學版)
남경대학학보(자연과학판)
JOURNAL OF NANJING UNIVERSITY(NATURAL SCIENCES)
2009年
5期
593-603
,共11页
张召%业宁%杜辉%沈丽容%张贤涛
張召%業寧%杜輝%瀋麗容%張賢濤
장소%업저%두휘%침려용%장현도
半监督学习%子模式%维数减少%特征子空间%判别分析
半鑑督學習%子模式%維數減少%特徵子空間%判彆分析
반감독학습%자모식%유수감소%특정자공간%판별분석
semi-supervised learning%sub-pattern%dimensionality reduction%feature subspace%discriminant analysis
维数减少是在损失较少特征信息的条件下处理高维图像数据的关键技术,已成为高维数据处理中的热点问题.样本的类内和类问散度判别信息被用于判断当前样本对属于相同类还是不同类,同时考虑未标签样本对算法性能的影响,提出了一种判别型半监督非线性维数减少算法(discriminative semi-supervised nonlinear dimensionality reduction,DSSNDR),可有效避免奇异性.DSSNDR采用高斯核和多项式核组合得到的混合核,将原始数据以一系列"有用的"特征形式投影到一个较低维的嵌入空间,便于分类,同时能够保持已标签和未标签样本的内部特征,可有效执行半监督学习.引入样本数据的子模式,将DSSNDR推广到子模式特征空间下的非线性方法,简称Sp-DSSNDR,进一步增强了DSSNDR的学习能力,提高分类精度.多个典型数据集上的分类和可视化实验表明,不同类的样本数据的投影在DSSNDR和Sp-DSSNDR构造的特征空间中存在较少的混叠现象,具有更好的可分离性.当维数被减少到较低水平时,本文算法几乎总是取得最好的结果,甚至超过了经典的主成分分析(PCA),核主成分分析(KPCA)和核Fisher判别分析(KFD)算法.
維數減少是在損失較少特徵信息的條件下處理高維圖像數據的關鍵技術,已成為高維數據處理中的熱點問題.樣本的類內和類問散度判彆信息被用于判斷噹前樣本對屬于相同類還是不同類,同時攷慮未標籤樣本對算法性能的影響,提齣瞭一種判彆型半鑑督非線性維數減少算法(discriminative semi-supervised nonlinear dimensionality reduction,DSSNDR),可有效避免奇異性.DSSNDR採用高斯覈和多項式覈組閤得到的混閤覈,將原始數據以一繫列"有用的"特徵形式投影到一箇較低維的嵌入空間,便于分類,同時能夠保持已標籤和未標籤樣本的內部特徵,可有效執行半鑑督學習.引入樣本數據的子模式,將DSSNDR推廣到子模式特徵空間下的非線性方法,簡稱Sp-DSSNDR,進一步增彊瞭DSSNDR的學習能力,提高分類精度.多箇典型數據集上的分類和可視化實驗錶明,不同類的樣本數據的投影在DSSNDR和Sp-DSSNDR構造的特徵空間中存在較少的混疊現象,具有更好的可分離性.噹維數被減少到較低水平時,本文算法幾乎總是取得最好的結果,甚至超過瞭經典的主成分分析(PCA),覈主成分分析(KPCA)和覈Fisher判彆分析(KFD)算法.
유수감소시재손실교소특정신식적조건하처리고유도상수거적관건기술,이성위고유수거처리중적열점문제.양본적류내화류문산도판별신식피용우판단당전양본대속우상동류환시불동류,동시고필미표첨양본대산법성능적영향,제출료일충판별형반감독비선성유수감소산법(discriminative semi-supervised nonlinear dimensionality reduction,DSSNDR),가유효피면기이성.DSSNDR채용고사핵화다항식핵조합득도적혼합핵,장원시수거이일계렬"유용적"특정형식투영도일개교저유적감입공간,편우분류,동시능구보지이표첨화미표첨양본적내부특정,가유효집행반감독학습.인입양본수거적자모식,장DSSNDR추엄도자모식특정공간하적비선성방법,간칭Sp-DSSNDR,진일보증강료DSSNDR적학습능력,제고분류정도.다개전형수거집상적분류화가시화실험표명,불동류적양본수거적투영재DSSNDR화Sp-DSSNDR구조적특정공간중존재교소적혼첩현상,구유경호적가분리성.당유수피감소도교저수평시,본문산법궤호총시취득최호적결과,심지초과료경전적주성분분석(PCA),핵주성분분석(KPCA)화핵Fisher판별분석(KFD)산법.
Dimensionality reduction is an important preprocessing step in high-dimensional image data analysis and has become a hot issue in dealing with high-dimensional image data without losing the intrinsic information. The problem of the discriminative semi-supervised nonlinear dimensionality reduction (DSSNDR) is discussed to exploit the labeled and unlabeled data samples at the same time. DSSNDR can project the input samples to a set of more useful features in the low dimensional feature subspace and can preserve the intrinsic structure of the original data, under which the data are easier to be effectively partitioned from each other. In this setting, within-class and between-class scatter information are adopted to specify whether samples belong to the same class or different classes. To improve the performances of DSSNDR further, we also propose Sp-DSSNDR for dimensionality reduction, which performs DSSNDR on the sub-patterns of the original data. We also demonstrate the practical usefulness and high scalability of the DSSNDR and Sp-DSSNDR methods in data visualization and classification tasks through extensive simulation studies. Experimental results show that DSSNDR and Sp-DSSNDR can almost always achieve the highest accuracy when the dimension of the data is reduced to a lower level. In most cases, performances of the proposed algorithms outperform those of many established typical dimensionality reduction methods, such as principle comporent analysis (PCA) , kernel principle component analysis ( KPCA) and kernel fisher discriminant analysis(KFD).