代理池的使用

搭建并使用代理的步骤

1 搭建免费代理池

项目下载地址：https://github.com/jhao104/proxy_pool

---

2 使用虚拟环境安装依赖

---

3 修改配置文件中的redis配置

DB_CONN = 'redis://127.0.0.1:6379/2'

---

4 启动爬虫获取免费代理并存入redis

python proxyPool.py schedule

---

5 启动web服务

python proxyPool.py server

---

6 访问获取代理网址

http://127.0.0.1:5010/get/

---

7 使用代理发送请求代码实例

import requests
 
res=requests.get('http://192.168.1.252:5010/get/?type=http').json()
# 获取当前代理ip
print(res['proxy'])
 
# 使用代理向百度首页发起请求
res1 = requests.get('http://www.baidu.com', proxies={'http': res['proxy']})
print(res1.text)