这两天要学习python爬虫中的代理池,因此要配置proxypool,过程可以说是一波三折。虽然网上也有很多相关教程,不过一些文章也是比较老了,笔者在配置中也碰上了一些新问题,这里笔者也是分享一下本人解决问题的过程。
redis设置
首先,我们需要下载一下Redis: 下载地址:github.com/tporadowski…
下载Redis x64 5.0.14.1.zip压缩包。 下载完成后,解压缩,记住解压后文件夹存放的位置,添加到系统变量。
右键我的电脑(计算机)——属性——高级系统设置——环境变量——系统变量里的PATH——把 你存放Redis的绝对路径找个空白行复制进去。
双击redis-server.exe启动redis服务,这会启动一个DOS窗口,或在命令提示符输入命令:
redis-server.exe redis.windows.conf
另外再打开一个cmd窗口,输入命令:
redis-server --service-install redis.windows.conf
安装Redis到Windows服务
输入命令:
redis-server --service-start
启动Windows服务中的Redis服务,Win+R,输入:
services.msc
在服务中查看是否添加Redis:
检查redis是否成功安装
新打开命令提示符(win+R),输入cmd,回车。
redis-cli ping
若返回PONG就表示redis安装成功并运行。
返回
Could not connect to Redis at 127.0.0.1:6379: No connection could be made because the target machine actively refused it.
这表示 Redis 还没有被启动或者已经被停止。
返回
不是内部或外部命令,也不是可运行的程序或批处理文件。
说明你的环境变量没设置好。
检查redis是否成功运行
在命令提示符接着输入
redis-cli info server | Select-String uptime_in_seconds
返回
uptime_in_seconds:xxx
安装成功
若已成功设置系统变量而
'Select-String' 不是内部或外部命令,也不是可运行的程序或批处理文件。
输入:
redis-cli info server | findstr uptime_in_seconds
返回
uptime_in_seconds:xxx
就成功了。
proxyPool安装
下载proxyPool并解压。
然后下载依赖,在命令提示符中打开该文件夹,输入 pip install -r requirements.txt
返回Requirement already satisfied就成功了。
若出现
ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.
在requirements加上.txt添加itsdangerous==2.0.0,然后再安装依赖,安装完成后。 在setting.py中,把DB_CONN如图修改,去掉@前的pwd:
打开命令提示符:
输入
python proxyPool.py schedule && python proxyPool.py server
若开始不断刷新就成功了。
链接:https://juejin.cn/post/7238048815823978533
来源:稀土掘金
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。