2017年7月23日

如何爬取可用的IP代理

摘要: 上一篇说到对付反爬虫有一个很关键的方法就是使用IP代理,那么我们应该如何获取这些可用的IP代理呢?这里分享一下自己这两天的一些爬取IP代理的心得体会。 1 步骤 1.找到几个提供免费IP代理的网站,获取IP数据源 2.验证对应的IP代理访问出口IP是否跟本机的出口IP一致,得到不一致的IP代理列表 阅读全文

posted @ 2017-07-23 16:41 HelloF 阅读(2215) 评论(0) 推荐(0) 编辑

导航