摘要: 使用yum安装redis yum install redis 配置redis.conf文件 使用vim编辑/etc/redis.conf文件 vim /etc/redis.conf 修改IP地址绑定 原本是bind 127.0.0.1。这里将它改为bind 0.0.0.0,允许公网访问 ###### 阅读全文
posted @ 2021-01-29 19:57 VanGy 阅读(145) 评论(0) 推荐(0) 编辑
摘要: 构建代理池 首先,使用GitHub上的开源项目ProxyPool在服务器上构建代理池 在Scrapy爬虫的middlewares.py中添加代理中间件 class RandomProxyMiddleware(object): def process_exception(self, request, 阅读全文
posted @ 2021-01-29 19:37 VanGy 阅读(212) 评论(0) 推荐(0) 编辑
摘要: CentOS还未安装Python3的可以先看这里 使用pip3安装virtualenv pip3 install virtualenv 创建Python虚拟环境 使用cd命令进入到项目文件夹,在项目文件夹下使用 # venv是自定义的虚拟环境名称,可以随意设置 virtualenv venv 执行该 阅读全文
posted @ 2021-01-29 19:18 VanGy 阅读(152) 评论(0) 推荐(0) 编辑