2019年1月10日
scrapy
摘要： 1、引擎(ScrapyEngine): 用来处理整个系统的通讯，数据流处理, 触发事务(框架核心)。 2、调度器(Scheduler): 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的网 阅读全文
posted @ 2019-01-10 16:29 一切来源于奋斗 阅读(226) 评论(0) 推荐(0) 编辑