摘要:
1、代理池: https://github.com/Python3WebSpider/ProxyPool 从网络上获取代理 判断是否可用 储存到redis 定期检测代理地址的有效性 api:通过url获取代理 2、使用过程 代理为None,若ip被封禁(响应状态码),从代理池中获取新的代理,请求使用 阅读全文
摘要:
1、遍历多个节点 查找.items() for item in 节点.items(): yield item.attr('href') 2、子查询 find() 阅读全文