2020年12月23日
爬虫之scrapy、scrapy-redis
摘要： 一、Scrapy的简介 Scrapy 是基于twisted框架开发而来，twisted是一个流行的事件驱动的python网络框架。因此Scrapy使用了一种非阻塞（又名异步）的代码来实现并发。整体架构大致如下 它主要由五大组件和两中间件组成： 五大组件： 1、引擎（ENGINE)：用来处理整个系统的 阅读全文
posted @ 2020-12-23 10:18 NQ31 阅读(290) 评论(0) 推荐(0) 编辑