2016年10月24日
python爬虫成长之路（二）：抓取代理IP并多线程验证
摘要： 上回说到，突破反爬虫限制的方法之一就是多用几个代理IP，但前提是我们得拥有有效的代理IP，下面我们来介绍抓取代理IP并多线程快速验证其有效性的过程。 一、抓取代理IP 提供免费代理IP的网站还挺多的，我在‘西刺代理’上一阵猛抓后自己的IP就被其屏蔽了。只好换‘IP巴士’并乖乖的减缓抓取速度了。贴上抓 阅读全文
posted @ 2016-10-24 00:24 数据之魂 阅读(21145) 评论(4) 推荐(0) 编辑