scrapy简单使用

#settings.py文件设置

#如果网站中没有robots文件，就不会抓取任何数据

ROBOTSTXT_OBEY = False

 

#设置请求头

DEFAULT_REQUEST_HEADERS = {

　　'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; …) Gecko/20100101 Firefox/61.0'

}

 

#启动pipline（文件68行，取消注释即可）

ITEM_PIPELINES = {
   'qsbk.pipelines.QsbkPipeline': 300,
}

 

#创建项目和爬虫

1.创建项目：'scrapy startproject [爬虫的名字]'

2.创建爬虫：进入到项目所在的路径，执行命令 'scrapy genspider [爬虫名字] [爬虫域名]'

注意：爬虫名字不能和项目名一样

 

#项目目录结构

1.items.py: 用来存放爬虫爬取下来的数据的模型

2.middlewares.py: 用来存放各种中间件的文件

3.pipelines.py: 用来将items的模型存储到本地磁盘中

4.settings.py: 本爬虫的一些配置信息（比如请求头，多久发送一次请求，ip代理池等）

5.scrapy.cfg: 项目的配置文件

6.spider包: 以后所有的爬虫都放到这个里面