记一次有意思的爬虫

本人在之前实习的时候就接触过爬虫，到现在陆陆续续爬过一些东西

用WebCollector爬过微信公众号文章、百度新闻、百度BBS等，

用HtmlUnit爬过域名-IP关系，目前正用原生HtppClient爬过一些网站的文件。

 

最近做实验又需要爬一些数据，某xun没有难度，分析了下HTTP链接，

找到真正的请求的HTTP请求，直接爬得到JSON格式数据，就是我爬的有点凶。

因为数据不是很多，我想速战速决，单IP十个线程，第一次是半夜爬的，没封，爬了1万条；

第二次是下午爬的，两万条只爬了1万条左右，被封了。

 

今天下午爬某du，其实就是我提交个数据，某度给我返回个yes or no就行了。

页面上明明看得到数据，既不是图片，也不是文字（鼠标选不中），源代码里也没有数据。

分析了各种链接，也没有额外获取数据的HTML、JS请求。

最后在源代码里发现了蹊跷，两种不同返回结果如下：

之前一直找汉字去了，所以没找到；应该是他们根据这两种返回结果，用CSS做了处理。

也是第一次遇到这种情况，比较有意思，哈哈。