爬虫部署：scrapyd+gerapy
服务端安装：pip install scrapyd
客户端安装:pip install scrapyd-client
2、启动scrapyd服务
服务端建立一个deploy文件夹，cd到该文件夹中，执行sudo scrapyd或scrapyd。这时在服务端主机的6800端口打开了scrapyd服务。
3、客户端安装gerapy
在客户端主机执行：pip3 install gerapy
4、gerapy配置启动
1)新建一个文件夹，cd到该文件夹执行gerapy init，然后在文件夹中会生成一个gerapy文件夹
2)cd到gerapy文件夹中，执行gerapy migrate进行初始化,会生成一个SQLite数据库，数据库保存主机配置信息和部署版本等
3）在gerapy目录下，执行gerapy runserver即启动gerapy服务到本机的8000端口。
5、启用主机
浏览器中打开127.0.0.1：8000进行管理界面
主机管理===》创建，输入服务端主机的scrapyd服务的ip和port（本机就是127.0.0.1：6800），起一个主机名字，完成创建之后即可对这个服务端的scrapyd服务进行管理。
6、项目部署
1）拷贝scrapy项目到gerapy文件夹下的project文件夹，将项目内的cfg文件内的deploy部分修改好（两个部分：deploy:部署名、ip_port)。
2）在gerapy管理界面进行项目部署，点击项目管理可以看到project中存在的项目，点击项目上的部署==》添加描述==》打包==》点击主机上的部署，即可完成部署
3）进入主机管理界面，点击调度就可以看到所有部署好的项目和爬虫（分布式爬虫开启：连续点击运行即可，会自动创建不同的进程运行）
