CAJ | 학술논문

视觉多模态与人们的认知有着密切的关系。本文首先介绍多模态的基本概念与认知的一般过程，然后系统地阐述视觉多模态作为社会符号形态的符号间性和认知功能。但是，本文的重点是根据不同模态与不同模式的阅读实验数据以及阅读者在实验中所发生的物理动作和心理活动的数据，采用对比法多维度地分析和解读多模态话语和单模态话语在阅读理解、词汇的短期记忆与长期记忆中所产生的差异，从而揭示了视觉多模态话语的认知功效及其相关因素。
시각다모태여인문적인지유착밀절적관계。본문수선개소다모태적기본개념여인지적일반과정，연후계통지천술시각다모태작위사회부호형태적부호간성화인지공능。단시，본문적중점시근거불동모태여불동모식적열독실험수거이급열독자재실험중소발생적물리동작화심리활동적수거，채용대비법다유도지분석화해독다모태화어화단모태화어재열독리해、사회적단기기억여장기기억중소산생적차이，종이게시료시각다모태화어적인지공효급기상관인소。