scrapyd和scrapydweb使用详细教程

Ⅰ、首先要搞清楚几个概念

1、scrapy是什么？

一个爬虫框架，你可以创建一个scrapy项目

2、scrapyd是什么？

相当于一个组件，能够将scrapy项目进行远程部署，调度使用等

因此scrapyd可以看作一个cs（client-server）程序，因此毫无疑问我们需要安装和配置scrapyd(server)

和连接的scrapy-client(client)

3、scrapydweb是什么？

是一个基于scrapyd的可视化组件，集成并且提供更多可视化功能和更优美的界面

总结：三者如同葫芦套娃，总共三层

 

II、安装scrapy和创建一个scrapy项目

这里我就不细说了，很多很好的博客，这里贴一篇

参照：https://www.cnblogs.com/fengf233/p/11208975.html

 

III、安装scrapyd和scrapyd-client和配置

1、安装

pip install scrapyd
pip install scrapy-client

安装完成后，在cmd中启动命令

scrapyd

在浏览器中输入：http://localhost:6800/，如果出现下面界面则表示启动成功（不要关闭cmd，后面步骤还需要）

 

2、配置

①配置scrapy项目

打开scrapy项目，有个scrapy.cfg文件，按如下进行配置

②上传scrapy项目

将你的scrapy-deploy文件复制到与scrapy.cfg文件同一目录，scrapy-deploy文件位于你python环境下的scripts文件夹中

然后在cmd中进入你的scrapy项目目录,输入：

python scrapy-deploy –l

说明已经扫描到项目，接下来就是编译项目

python scrapyd-deploy souhu -p souhu

编译完成后就是上传了，上传输入下面代码（默认为启动状态）

curl http://localhost:6800/schedule.json -d project=souhu -d spider=souhuspider3

③、在server（http://localhost:6800/）进行检查，在jobs出现列表则表示上传成功

 

IV、安装scrapydweb

（开源地址：https://github.com/my8100/files/blob/master/scrapydweb/README_CN.md）

1、安装

pip install scrapydweb

运行（前提是scrapyd服务器必须处于运行状态）

scrapyweb

如果出现下面可视化界面，表示安装成功

 

注意：如果出现6801端口无法连接，这个是因为你没有配置集群环境，不用担心

 

2、配置

（基本上使用默认的就行，根据需要配置）

配置文件在你当前启动scrapydweb路径下，scrapydweb_settings_v10.py，只有两处需要配置。

①第一处就是username和password，如果是远程的服务器的话，建议开启认证

②第二处是项目路径（这里是scrapydweb比较方便的地方，不用事先将项目先上传到scrapyd服务器，scrapydweb能够帮我们上传）

 

3、重启并开始管理

①重启

scrapydweb

②开始可视化管理