轻量级爬虫框架

轻量级爬虫框架

2018-02-12

 

1【转】设计和实现一款轻量级的爬虫框架 【代码】

 

  • 调度器(Scheduler)：是队列，保存请求队列和响应队列
  • 下载器(Downloader)：通过请求队列中的请求拉数据，把结果保存到响应队列
  • 爬虫(Spiders):对响应队列中响应通过css（根据不同网站配置）来获取需要的内容和url，需要的内容放到管道，url放到请求队列。
  • 管道(Pipeline): 负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。
  • 引擎(ElvesEngine)：流程控制

 

posted @ 2018-02-12 17:46  明-Ming  阅读(388)  评论(0)  编辑  收藏  举报