搭建PySpider爬虫服务

1.环境准备

前置环境部署

在开始部署前，我们需要做一些前置准备 。

yum 更新

等待时间较长

安装开发编译工具

安装依赖库

升级pip

 

2.

部署 mariadb

由于 CentOS 7 中 MySQL 数据库已从默认的程序列表中移除，我们使用 mariadb 代替。

安装 mariadb

启动 mariadb 服务

设置 root 密码

默认的root用户密码为空，你可以使用以下命令来创建 root 用户的密码：

检查是否安装成功

现在你可以尝试通过以下命令来连接到 Mysql 服务器 

 

 

3.部署redis

 下载、解压安装包

下载安装包

 

 

解压安装包

 

移动解压包到 /usr/local 内

 

编译安装

设置 redis 配置

设置配置文件路径

 

 

修改 /etc/redis/redis.conf 文件的 daemonize 配置项为如下：

启动 redis 服务

 

4.

部署 pyspider

安装依赖

安装 pyspider

配置 pyspider

首先创建配置目录

 

 然后 /etc/pyspider 目录下创建 pyspider.conf.json，参考下面的内容。

其中 mysql 配置中的 root 为您 mysql 的用户名， root: 后面的为您刚设置的密码。

 

 webui 配置中的 username 及 password 为您访问 WebUI 时候需要的用户名，你也可以不设置用户名密码，直接将 need-auth 设为 false 即可。

 

启动服务

如果一切正常，现在访问 http://IP:5000，您应该可以看到 pyspider dashboard 的首页了。

服务能够正常启动后，我们需要让它能够在后台运行，您可以通过以下命令让服务在后台运行

此时您可以访问 http://IP:5000 使用您的爬虫来搜集数据了，具体 pyspider 爬虫脚本的编写及使用教程可以参考 网上资料。