scrapy 小记

 

 

 

 

 

Scrapy engine 类似于中央处理器，调度处理四个部件之间的请求
Item pipeline 用于处理spiders 返回的items 文件
Shceduler 用于调度处理URL队列
Downloader 用于访问下载页面

 

 

Pycharm 搭建 scrapy 教程 亲测有效
https://blog.csdn.net/ifeng12358/article/details/103454255

Linux 搭建scrapy 要比win 轻松许多

其次就是在使用pychram安装scrapy的时候有一些小插曲

但原理我不太了解,也就是云里雾里的就解决好了

scrapy的几个基本命令 fetch 以及clawer

创建scrapy项目