摘要: 1、代理池: https://github.com/Python3WebSpider/ProxyPool 从网络上获取代理 判断是否可用 储存到redis 定期检测代理地址的有效性 api:通过url获取代理 2、使用过程 代理为None,若ip被封禁(响应状态码),从代理池中获取新的代理,请求使用 阅读全文
posted @ 2019-11-24 20:46 市丸银 阅读(107) 评论(0) 推荐(0) 编辑
摘要: 1、遍历多个节点 查找.items() for item in 节点.items(): yield item.attr('href') 2、子查询 find() 阅读全文
posted @ 2019-11-24 19:50 市丸银 阅读(66) 评论(0) 推荐(0) 编辑