爬虫之代理池搭建
1、使用第三方(git clone下来)
# github,下载免费代理池开源代码(建议读一下别人的代码) # https://github.com/jhao104/proxy_pool
2、运行起git clone的代理项目,安装必要依赖
# 项目根目录(pycharm终端) # pip3 install -r requirements.txt
3、配置文件配置
# 数据库选择用redis,本文redis没设置密码,所以去掉密码 DB_CONN = 'redis://127.0.0.1:6379/0'
4、启动服务(读readme)
# 启动调度程序 python proxyPool.py schedule # 启动webApi服务 python proxyPool.py server
5、再起一个脚本测试代理
import requests import json res = requests.get('http://127.0.0.1:5010/get/') dic = json.loads(res.text) proxy = dic.get('proxy') print(proxy) proxies = {"http": "http://%s" % proxy} respone = requests.get('https://www.baidu.com', proxies=proxies) print(respone.text)