1、Scrapy有一个扩展组件，叫作scrapyd，只需安装扩展组件，即可远程管理Scrapy任务，包括部署源码、启动任务、监听任务等。
2、Docker集群部署，只需将爬虫作为Docker镜像，只要主机安装了Docker，就可以直接运行爬虫，无需担心配置、版本问题。
Docker是一种容器技术，可以将应用和环境进行打包，形成一个独立的、类似于app。对于大规模的部署爬虫系统，Docker会大大提高效率。
下载地址：https://docs.docker.com/desktop/install/windows-instal
进入cmd运行docker命令如下安装成功界面
