代理的使用

1、代理池: https://github.com/Python3WebSpider/ProxyPool

从网络上获取代理

判断是否可用

储存到redis

定期检测代理地址的有效性

api:通过url获取代理

2、使用过程

代理为None,若ip被封禁(响应状态码),从代理池中获取新的代理,请求使用代理

 

posted @ 2019-11-24 20:46  市丸银  阅读(107)  评论(0编辑  收藏  举报