摘要：
一 简介 spider_keeper 是一款开源的spider管理工具，可以方便的进行爬虫的启动，暂停，定时，同时可以查看分布式情况下所有爬虫日志，查看爬虫执行情况等功能。 二 安装 部署 部署： 运行： 三 数据库四张表用处 查看建表信息 sk_job_execution : 任务表,所有的任务( 阅读全文
摘要：
一 Scrapyd简介 Scrapyd 是一个用来部署和运行 Scrapy 项目的应用，由 Scrapy 的开发者开发。其可以通过一个简单的 Json API 来部署（上传）或者控制你的项目。 Scrapyd 可以用来管理多个项目，并且每个项目还可以上传多个版本，不过只有最新的版本会被使用。 在安装 阅读全文