使用Scrapyd部署Scrapy爬虫到远程服务器上
1、准备好爬虫程序
2、修改项目配置
找到项目配置文件scrapy.cnf,将里面注释掉的url解开来
本代码需要连接数据库,因此需要修改对应的数据库配置
其实就是将里面的数据库地址进行修改,变成远程数据库服务器地址,需要保证scrapy服务器能够连接数据库服务器
3、部署项目
在部署项目之前要保证scrapyd服务是开启状态。
进入本地爬虫工程的目录
执行对应的部署命令
4、调度爬虫
调度爬虫需要使用curl,以下的命令可以在dos窗口对应的项目目录下面执行,也可以在pycharm中的命令行执行
4.1、查看远程服务端上面的爬虫
curl http://node100:6800/listprojects.json
4.2、移除远程服务端上面部署的爬虫工程
curl http://node100:6800/delproject.json -d project=doubanSpider
4.3、启动爬虫
curl http://node100:6800/schedule.json -d project=doubanSpider -d spider=douban
4.4、取消爬虫
curl http://node100:6800/cancel.json -d project=doubanSpider -d job=000f47e035e911e9a8e90bb05244259f