摘要: gerapy 爬虫web调度可视化工具(基于scrapyd) web 基于scrapyd 提供主机管理功能 基于scrapyd管理已安装服务的主机。 进入具体主机管理页面,会自动加载所有已知爬虫任务; 可直接可以调度、运行、查看日志。 提供项目管理功能 将已知项目放到project目录下,可进行爬虫 阅读全文
posted @ 2020-09-13 14:06 我忘不掉 阅读(265) 评论(0) 推荐(0) 编辑
摘要: 安装scrapydpip3 install scrapy看看是否能够启动 运行 scrapyd如果报错 bash: scrapyd: command not found找到python3安装位置查看是否已安装scrapyd 如果安装那么便配置软连接ln -s /usr/local/python3/b 阅读全文
posted @ 2020-09-13 13:38 我忘不掉 阅读(787) 评论(0) 推荐(0) 编辑