scrapy爬虫框架学习

制作scrapy爬虫一共分4个步骤：

1.新建项目 （scrapy startproject  xxxx）

2.明确目标 （编写 items.py） 明确你要抓取的目标

3.制作爬虫 （spider/xxspider.py）

4.存储内容 （piplines.py）

 

 

 

cmd 命令下 

scrapy bench  测试每分钟服务器的爬取页面的数量

 

运行一个爬虫

cd到相关目录

然后 scrapy crawl itcast