如何应对网站反爬虫策略？如何高效地爬大量数据?
摘要：像一些大型的网站会有反爬虫策略…比如我之前在爬淘宝评论后很快就会被封，大概是短时间爬太多…有什么好的策略吗？比如代理？不过感觉代理也不能稳定吧… 1楼（未知网友）我们生活在信息爆炸的时代，穷尽一个人的一生也无法浏览完万分之一的网络信息。那如果给你猜，你会觉得整个互联网的流量里，非人类的比例有多大？是
阅读全文
posted @
2016-12-03 12:26
adolfmc
阅读(12789)
推荐(1) 编辑
web harvesst
摘要：http://web-harvest.sourceforge.net/manual.php
阅读全文
posted @
2012-10-29 09:39
adolfmc
阅读(159)
推荐(0) 编辑
