摘要：
一、scrapy原理 Scrapy 使用了 Twisted异步网络库来处理网络通讯。整体架构大致如下 Scrapy主要包括了以下组件： 引擎(Scrapy)用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Scheduler)用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时 阅读全文
posted @ 2018-11-24 10:17 Linfinity 阅读(582) 评论(0) 推荐(0) 编辑
摘要：
一、Celery介绍 Celery 是一个 基于python开发的分布式异步消息任务队列，通过它可以轻松的实现任务的异步处理， 如果你的业务场景中需要用到异步任务，就可以考虑使用celery， 举几个实例场景中可用的例子: Celery 在执行任务时需要通过一个消息中间件来接收和发送任务消息，以及存 阅读全文
posted @ 2018-11-21 21:59 Linfinity 阅读(233) 评论(2) 推荐(0) 编辑