摘要: scrapyd部署爬虫的优势: 1、方便监控爬虫的实时运行状态,也可以通过接口调用开发自己的监控爬虫的页面 2、方便统一管理,可以同时启动或关闭多个爬虫 3、拥有版本控制,如果爬虫出现了不可逆的错误,可以通过接口恢复到之前的任意版本 注意:在安装scrapyd之前要确保你的环境能够运行scrapy( 阅读全文
posted @ 2018-12-15 10:55 >>>[赵广正]<<< 阅读(378) 评论(0) 推荐(0) 编辑
摘要: 一. 部署&运行deploy: 部署scrapy爬虫程序 # scrapyd-deploy 部署服务器名 -p 项目名称scrapyd-deploy ubuntu -p douyurun : 运行 #curl http://localhost:6800/schedule.json -d projec 阅读全文
posted @ 2018-12-15 10:45 >>>[赵广正]<<< 阅读(978) 评论(0) 推荐(0) 编辑
摘要: 安装scrapyd: pip install scrapyd 安装scrapyd-client : pip install scrapyd-client 安装curl:[安装地址](http://ono60m7tl.bkt.clouddn.com/curl.exe),安装完成以后将所在目录配置到环境 阅读全文
posted @ 2018-12-15 10:22 >>>[赵广正]<<< 阅读(216) 评论(0) 推荐(0) 编辑