2016年8月2日

Tor网络突破IP封锁,爬虫好搭档【入门手册】

摘要: Tor网络突破IP封锁,爬虫好搭档【入门手册】前言 本文不提供任何搭梯子之类的内容,我在这里仅仅讨论网络爬虫遇到的IP封杀,然后使用Tor如何对抗这种封杀。作为一种技术上的研究讨论。场景 我们编写的网络爬虫全网采集的时候总会有一些网站有意识的保护自己的网站内容,以防止网络爬虫的抓取。常见的方式就是通过身份验证的方式来进行人机识别。也就是在登陆(查询)的入口增加或者加固防御。这些防御有那些呢?... 阅读全文

posted @ 2016-08-02 15:59 诺岚 阅读(36537) 评论(2) 推荐(0) 编辑

导航