如何自己动手获取大量知乎网民数据？

前言

去年在接触Java爬虫的时候，接触到了一个关于知乎的爬虫。个人觉得写的非常好，当时抓取的效率和成功率还是特别特别高，现在可能知乎反扒做的更好，这个开源知乎爬虫没之前抓取的那么顺利了。我记得当时在我的i7+8g的机器上爬了将近两天，大概爬取了60多w的数据。当然，实际抓取的用户数据数量肯定比这个多，只是持久化过程不同步而已，也就是抓取的好几个用户可能只有一个存入数据库中。

为什么推荐这个项目呢？

如果你自己去阅读这个开源知乎爬虫的源码你会发现它在Ip代理以及多线程的处理上都特别好，适合大家去阅读学习。

这个项目的github地址为：https://github.com/wycm/zhihu-crawler