摘要：
接下来以爬取quote.toscrape.com为例完成一遍Scrapy的抓取流程。 首先创建一个Scrapy项目。打开命令行，输入以下命令： scrapy startproject projectname 即可在当前位置创建一个Scrapy项目。我们创建一个名为tutorial的项目： scrap 阅读全文
摘要：
Scrapy框架的架构图如上。 Scrapy中的数据流由引擎控制，数据流的过程如下： 1.Engine打开一个网站，找到处理该网站的Spider，并向该Spider请求第一个要爬取得URL。 2.Engine从Spider中获取到第一个要爬的URL，并通过Scheduler以Request的形式调度 阅读全文