摘要：
每个请求对象的延迟对象经过_handle_downloader_output处理后，又会返回一个延迟对象。 engine的crawl函数 reactor.callLater(delay, self)通过timer触发deferred对象的callback。 阅读全文
posted @ 2018-02-26 23:21 王将军之武库 阅读(328) 评论(0) 推荐(0) 编辑
2018年2月26日
摘要：
@_oldStyle class Deferred: called = False#类变量，在实例中引用时会自动在实例中生成 paused = False _debugInfo = None _suppressAlreadyCalled = False # Are we currently running a user-installed c... 阅读全文
posted @ 2018-02-26 17:57 王将军之武库 阅读(466) 评论(0) 推荐(0) 编辑
摘要：
当运行scrapy crawl spider 时，会生成一个crawl命令对象，scrapy是调用execute函数（cmdlin.py)来执行命令的，execute函数会给命令对象添加crawler_process属性(cmd.crawler_process = CrawlerProcess(se 阅读全文
posted @ 2018-02-26 16:16 王将军之武库 阅读(530) 评论(0) 推荐(0) 编辑