2020年6月5日
【python】一个通用分布式爬虫框架 spiderman
摘要： spiderman 基于scrapy-redis的通用分布式爬虫框架 github 项目地址 spiderman 目录 效果图 采集效果 爬虫元数据 分布式爬虫运行 单机爬虫运行 kafka实时采集监控示例 介绍 功能 原理说明 快速开始 下载安装 如何开发一个新爬虫 如何进行补爬 如何扩展分布式爬 阅读全文
posted @ 2020-06-05 16:18 TurboWay 阅读(1301) 评论(0) 推荐(0) 编辑