南京大学学报(自然科学版)
南京大學學報(自然科學版)
남경대학학보(자연과학판)
JOURNAL OF NANJING UNIVERSITY
2004年
2期
257-266
,共10页
用户适应%支持向量机%增量学习%在线图形识别
用戶適應%支持嚮量機%增量學習%在線圖形識彆
용호괄응%지지향량궤%증량학습%재선도형식별
user adaptation%support vector machine%incremental learning%online graphics recognition
用户适应问题是智能化人机接口设计中的一个重点和难点,它为人机接口的人性化、智能化和个性化提供支持.由于用户自身的特殊性,例如笔迹、口音、绘画习惯等,系统很难同时适应多个用户的使用.支持向量机(SVM)的学习方法是基于小样本的学习方法,它实现了结构风险最小化,避免了在学习过程中存在的过学习现象.增量学习能有效地利用历史训练结果,从而能在很小的时间空间代价下实现新样本的学习.基于SVM增量学习的方法,能从用户的历史数据中找到根本特性,而不会将可能造成用户冲突的、特定用户习惯的特征也记录下来,因此也就不会产生用户冲突.在在线图形识别系统中,与基于规则的用户适应方法相比,基于SVM增量学习的方法可以适应多个用户.对基于SVM的学习方法进行了分析,将其与用户适应紧密结合起来.对涉及到的3个方面进行了理论和实验上分析和对比:重复学习和增量学习;Syed等提出的和Xiao等提出的两种不同的基于SVM增量学习方法;"一对一"和"一对多"两种不同的多值分类构造方法.从而得出结论:两种增量学习方法都要明显优于重复学习;Syed等提出的增量学习方法在精度和效率都好于Xiao等提出的方法;一对一的多值分类构造方法要优于一对多的多值分类构造方法.
用戶適應問題是智能化人機接口設計中的一箇重點和難點,它為人機接口的人性化、智能化和箇性化提供支持.由于用戶自身的特殊性,例如筆跡、口音、繪畫習慣等,繫統很難同時適應多箇用戶的使用.支持嚮量機(SVM)的學習方法是基于小樣本的學習方法,它實現瞭結構風險最小化,避免瞭在學習過程中存在的過學習現象.增量學習能有效地利用歷史訓練結果,從而能在很小的時間空間代價下實現新樣本的學習.基于SVM增量學習的方法,能從用戶的歷史數據中找到根本特性,而不會將可能造成用戶遲突的、特定用戶習慣的特徵也記錄下來,因此也就不會產生用戶遲突.在在線圖形識彆繫統中,與基于規則的用戶適應方法相比,基于SVM增量學習的方法可以適應多箇用戶.對基于SVM的學習方法進行瞭分析,將其與用戶適應緊密結閤起來.對涉及到的3箇方麵進行瞭理論和實驗上分析和對比:重複學習和增量學習;Syed等提齣的和Xiao等提齣的兩種不同的基于SVM增量學習方法;"一對一"和"一對多"兩種不同的多值分類構造方法.從而得齣結論:兩種增量學習方法都要明顯優于重複學習;Syed等提齣的增量學習方法在精度和效率都好于Xiao等提齣的方法;一對一的多值分類構造方法要優于一對多的多值分類構造方法.
용호괄응문제시지능화인궤접구설계중적일개중점화난점,타위인궤접구적인성화、지능화화개성화제공지지.유우용호자신적특수성,례여필적、구음、회화습관등,계통흔난동시괄응다개용호적사용.지지향량궤(SVM)적학습방법시기우소양본적학습방법,타실현료결구풍험최소화,피면료재학습과정중존재적과학습현상.증량학습능유효지이용역사훈련결과,종이능재흔소적시간공간대개하실현신양본적학습.기우SVM증량학습적방법,능종용호적역사수거중조도근본특성,이불회장가능조성용호충돌적、특정용호습관적특정야기록하래,인차야취불회산생용호충돌.재재선도형식별계통중,여기우규칙적용호괄응방법상비,기우SVM증량학습적방법가이괄응다개용호.대기우SVM적학습방법진행료분석,장기여용호괄응긴밀결합기래.대섭급도적3개방면진행료이론화실험상분석화대비:중복학습화증량학습;Syed등제출적화Xiao등제출적량충불동적기우SVM증량학습방법;"일대일"화"일대다"량충불동적다치분류구조방법.종이득출결론:량충증량학습방법도요명현우우중복학습;Syed등제출적증량학습방법재정도화효솔도호우Xiao등제출적방법;일대일적다치분류구조방법요우우일대다적다치분류구조방법.
Because of the difference in users' handwritings, drawing styles, and accents, it is necessary to build user adaptation systems in order to identify the users' intentions in the online graphics recognition system. Support Vector Machines (SVM) are learning systems that use a hypothesis space of linear functions in a high dimensional feature space, trained with learning algorithm from optimization theory that implements a learning bias derived from statistical learning theory. SVM-based incremental learning, which can make a user-relevant recognition system quickly adapt to specific users' preference without losing its general performance, is an elegant solution for user adaptation problems in on-line graphics recognition system.Two learning strategies (repetitive learning and incremental learning), two incremental learning algorithms, and two classifier structures (one-against-one and one-against-all) are compared under the multi-class classification environment in our online graphics recognition system. Theoretical analysis and experimental results both show: (1) incremental learning can adapt the classifier to new obtained samples much faster than repetitive learning without losing any precision; (2) the SVM-based incremental learning algorithm of Syed et al. 's is superior to that of Xiao et al's; (3) one-against-one structure is superior to one-against-all structure for a multi-class incremental learning environment.