代理池的使用
搭建并使用代理的步骤
1 搭建免费代理池
2 使用虚拟环境安装依赖
3 修改配置文件中的redis配置
DB_CONN = 'redis://127.0.0.1:6379/2'
4 启动爬虫获取免费代理并存入redis
python proxyPool.py schedule
5 启动web服务
python proxyPool.py server
6 访问获取代理网址
http://127.0.0.1:5010/get/
7 使用代理发送请求代码实例
import requests
res=requests.get('http://192.168.1.252:5010/get/?type=http').json()
# 获取当前代理ip
print(res['proxy'])
# 使用代理向百度首页发起请求
res1 = requests.get('http://www.baidu.com', proxies={'http': res['proxy']})
print(res1.text)