scrapyd-client安装和部署项目介绍

1.介绍

　　前面讲解了如何在服务端安装scrapyd，本篇讲客户端scrapyd-client安装部署介绍。

　　scrapyd-client是scrapyd的客户端，它提供了：

　　　　1) scrapyd-deploy, 将scrapy项目部署到 Scrapyd 服务器。

　　　　2)scrapyd-client, 在部署后与scrapy项目进行交互。

　　在客户端windows上安装scrapyd-client, 打开cmd 命令如下

pip install scrapyd-client

　　使用pip list 查看安装的python包：

 

　　scrapyd部署介绍

　　将scrapy项目部署到 Scrapyd 服务器通常涉及两个步骤:

　　　　1)打包项目为egg文件，需要在开发环境安装setuptools。

　　　　2) 通过addversion.json端点将egg上传到Scrapyd服务器

 

2.2 部署

　　1)首先把项目打包成egg文件后，参考：https://www.cnblogs.com/MrHSR/p/16473795.html

　　2)接着在项目的scrapy.cfg文件中配置, 这样上传文件到服务器时，就不需要指定过多参数

[deploy]
#url = http://localhost:6800/
project = ebs_crawler
url = http://120.79.188.xxx:6800/
username = xx
password = xxxxx

  version = 0.3

　3)在vs code终端cd到项目的根目录下，执行下面的命令

PS F:\projectEBS\projectGit\ebs-python-crawler\ebs_crawler> scrapyd-deploy
Packing version 0.3
Deploying to project "ebs_crawler" in http://120.79.188.xxx:6800/addversion.json
Server response (200):
{"node_name": "iZwz927xptl8kw8zqrmwvcZ", "status": "ok", "project": "ebs_crawler", "version": "0.3", "spiders": 2}

 　　使用scrapyd-deploy命令，实际是调用了scrapyd的addversion.json api接口

　　 下一章介绍scrapyd的所有api接口：https://www.cnblogs.com/MrHSR/p/16477108.html

 

 参考文档：https://github.com/scrapy/scrapyd-client