摘要: 使用Scrapy抓取一个网站一共需要四个步骤: 1. 创建一个Scrapy项目; 2. 定义Item容器; 3. 编写爬虫; 4. 存储内容。 下图展现的是Scrapy的架构,包括组件及在系统中发生的数据流(图中绿色箭头)。 下面对每个组件都做了简单介绍: Scrapy Engine Scrapy引 阅读全文
posted @ 2017-06-16 18:02 王毅2016 阅读(221) 评论(0) 推荐(0) 编辑