爬虫管理平台以及wordpress本地搭建

学习目标：

各爬虫管理平台了解
- scrapydweb
- gerapy
- crawlab
各爬虫管理平台的本地搭建
Windows下的wordpress搭建

爬虫管理平台了解:

scrapydweb：

用于Scrapyd实施管理的web应用程序，支持Scrapy日志分析和可视化

github地址：https://github.com/my8100/scrapydweb.git

gerapy：

基于Scrapy，Scrapyd，Scrapyd-Client，Scrapyd-API，Django和Vue.js的分布式爬虫管理框架

相关的配置在我之前博客地址：https://www.cnblogs.com/xbhog/p/13336651.html

该项目github地址：https://github.com/Gerapy/Gerapy.git

crawlab：

基于Golang的分布式爬虫管理平台，支持多种编程语言以及多种爬虫框架.

文档地址：https://docs.crawlab.cn/zh/

GitHub地址：https://github.com/crawlab-team/crawlab.git

注意：前两个框架的搭建基于Scrapyd，如果不知道怎么配置可以看我之前写的博客：https://www.cnblogs.com/xbhog/p/13336651.html

爬虫管理平台的本地搭建：

scrapydweb搭建：
- 安装：pip install scrapydweb -i https://pypi.doubanio.com/simple
- 先打开scrapyd（命令行输入）
- 再输入scrapydweb
- 界面效果：
- 部署安装网上教程很多，不多赘述
gerapy
- 相关的配置在我之前博客地址：https://www.cnblogs.com/xbhog/p/13336651.html
crawlab：（配置安装官方给的很详细，这里简单说下）
- 首先把代码从远程仓库clone下来：git clone 地址/复制地址到pycharm中
- ```
#官方推荐几种安装方式：
Docker（入门简单，推荐）
Kubernetes（多机器部署，推荐）
直接部署（理解原理）
开发模式（开发调试）
多节点部署
#个人选择docker,该项目配置环境过多，怕给本地造成冲突
```
- docker的安装：
  - 安装地址：https://www.docker.com/products/docker-desktop
  - 安装环境：本地虚拟化以及hyper-V需要打开，如图所示
- 默认安装即可
- 相关详细链接（菜鸟教程：https://www.runoob.com/docker/windows-docker-install.html）
- 安装docker-compose包：pip install docker-compose
- 在根目录下测试：
```
docker-compose ps
正常为空
Name   Command   State   Ports
------------------------------
--------------------------------
```
- 安装并启动：docker-compose up -d
- http://127.0.0.1:8080/#/login进入即可