CAJ | 학술논문

多模态情感识别是当前情感计算研究领域的重要内容,针对人脸表情和动作姿态开展双模态情感识别研究,提出一种基于双边稀疏偏最小二乘的表情和姿态的双模态情感识别方法.首先,从视频图像系列中分别提取表情和姿态两种模态的空时特征作为情感特征矢量.然后,通过双边稀疏偏最小二乘(BSPLS)的数据降维方法来进一步提取两组模态中的情感特征,并组合成新的情感特征向量.最后,采用了两种分类器来进行情感的分类识别.以国际上广泛采用的FABO表情和姿态的双模态情感数据库为实验数据,并与多种子空间方法(主成分分析、典型相关分析、偏最小二乘回归)进行对比实验来评估本文方法的识别性能.实验结果表明,两种模态融合后相比单模态更加有效,双边稀疏偏最小二乘(BSPLS)算法在几种方法中得到最高的情感识别率.
다모태정감식별시당전정감계산연구영역적중요내용,침대인검표정화동작자태개전쌍모태정감식별연구,제출일충기우쌍변희소편최소이승적표정화자태적쌍모태정감식별방법.수선,종시빈도상계렬중분별제취표정화자태량충모태적공시특정작위정감특정시량.연후,통과쌍변희소편최소이승(BSPLS)적수거강유방법래진일보제취량조모태중적정감특정,병조합성신적정감특정향량.최후,채용료량충분류기래진행정감적분류식별.이국제상엄범채용적FABO표정화자태적쌍모태정감수거고위실험수거,병여다충자공간방법(주성분분석、전형상관분석、편최소이승회귀)진행대비실험래평고본문방법적식별성능.실험결과표명,량충모태융합후상비단모태경가유효,쌍변희소편최소이승(BSPLS)산법재궤충방법중득도최고적정감식별솔.