2019年12月10日
【python3】基于scrapyd + scrapydweb 的可视化部署
摘要： 一、部署组件概览 该部署方式适用于 scrapy项目、scrapy-redis的分布式爬虫项目 需要安装的组件有： 1、scrapyd 服务端 【运行打包后的爬虫代码】（所有的爬虫机器都要安装） 2、logparser 服务端 【解析爬虫日志，配合scraoydweb做实时分析和可视化呈现】（所有的 阅读全文
posted @ 2019-12-10 20:31 TurboWay 阅读(2922) 评论(0) 推荐(2) 编辑