开源爬虫监控平台crawler-studio
项目地址及安装说明
介绍
Crawler-Studio是基于Scrapy、Scrapyd、Scrapyd-Client、Scrapyd-API、Django、DRF、Vue.js 开发的一款开源分布式Scrapy爬虫监控平台
- 使用简单，无需ELK及复杂的配置也能实现爬虫监控
- 大屏展示scrapy爬虫运行状况
- 可视化实时读取爬虫运行数据、错误日志
- 监控爬虫日志错误率、内存占用以及掉线通知
- 可视化分布式爬虫管理
本平台的优点
- 体积小、依赖少、安装简单
- 可视化界面操作简单
- 做到了实时监控
如在使用过程中遇到问题，欢迎到 Issues 搜索解决方案或者提 Issue，感谢您的支持。
