这两天要学习python爬虫中的代理池,因此要配置proxypool,过程可以说是一波三折。虽然网上也有很多相关教程,不过一些文章也是比较老了,笔者在配置中也碰上了一些新问题,这里笔者也是分享一下本人解决问题的过程。

redis设置

首先,我们需要下载一下Redis: 下载地址:github.com/tporadowski…

image.png

下载Redis x64 5.0.14.1.zip压缩包。 下载完成后,解压缩,记住解压后文件夹存放的位置,添加到系统变量。

右键我的电脑(计算机)——属性——高级系统设置——环境变量——系统变量里的PATH——把 你存放Redis的绝对路径找个空白行复制进去。

image.png

双击redis-server.exe启动redis服务,这会启动一个DOS窗口,或在命令提示符输入命令:

redis-server.exe redis.windows.conf

image.png

另外再打开一个cmd窗口,输入命令:

redis-server --service-install redis.windows.conf

 

安装Redis到Windows服务

输入命令:

redis-server --service-start

  

启动Windows服务中的Redis服务,Win+R,输入:

services.msc

  

在服务中查看是否添加Redis:

image.png

检查redis是否成功安装

新打开命令提示符(win+R),输入cmd,回车。

redis-cli ping

  

若返回PONG就表示redis安装成功并运行。

返回

Could not connect to Redis at 127.0.0.1:6379: No connection could be made because the target machine actively refused it.

  

这表示 Redis 还没有被启动或者已经被停止。

返回

不是内部或外部命令,也不是可运行的程序或批处理文件。

说明你的环境变量没设置好。

检查redis是否成功运行

在命令提示符接着输入

redis-cli info server | Select-String uptime_in_seconds

返回

uptime_in_seconds:xxx

安装成功

若已成功设置系统变量而

'Select-String' 不是内部或外部命令,也不是可运行的程序或批处理文件。

  

输入:

redis-cli info server | findstr uptime_in_seconds

  

返回

uptime_in_seconds:xxx

  

就成功了。

proxyPool安装

下载proxyPool并解压。

gitcode.net/mirrors/jha…

image.png

image.png

然后下载依赖,在命令提示符中打开该文件夹,输入 pip install -r requirements.txt 返回Requirement already satisfied就成功了。

若出现

ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.

 

在requirements加上.txt添加itsdangerous==2.0.0,然后再安装依赖,安装完成后。 在setting.py中,把DB_CONN如图修改,去掉@前的pwd:

image.png

打开命令提示符:

输入

 python proxyPool.py schedule && python proxyPool.py server

  

若开始不断刷新就成功了。

image.png


作者:aynami
链接:https://juejin.cn/post/7238048815823978533
来源:稀土掘金
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。