CAJ | 학술논문

大数据时代下，人类社会的数据正以前所未有的速度增长。问卷调查法、访谈法等传统的数据收集方法，因样本容量小、信度低等局限已无法满足高质量研究的需求，相比较而言，编写爬虫程序获取到的海量数据更为真实、全面，在信息繁荣的互联网时代更为行之有效。因此编写爬虫程序成为大数据时代信息收集的必备技能。本文主要介绍爬虫原理、scrapy爬虫框架，并以歌词爬取为例，详细讲解使用scrapy爬取数据的步骤。
대수거시대하，인류사회적수거정이전소미유적속도증장。문권조사법、방담법등전통적수거수집방법，인양본용량소、신도저등국한이무법만족고질량연구적수구，상비교이언，편사파충정서획취도적해량수거경위진실、전면，재신식번영적호련망시대경위행지유효。인차편사파충정서성위대수거시대신식수집적필비기능。본문주요개소파충원리、scrapy파충광가，병이가사파취위례，상세강해사용scrapy파취수거적보취。