2019年5月27日
Python爬虫-代理池-爬取代理入库并测试代理可用性
摘要： 目的：建立自己的代理池。可以添加新的代理网站爬虫，可以测试代理对某一网址的适用性，可以提供获取代理的 API。 整个流程：爬取代理 > 将代理存入数据库并设置分数 > 从数据库取出代理并检测 > 根据响应结果对代理分数进行处理 > 从 API 取出高分代理 > 用高分代理爬取目标网站 分析： 1、爬 阅读全文
posted @ 2019-05-27 21:13 Sly_Yang 阅读(1329) 评论(2) 推荐(0) 编辑