2018年11月26日

爬虫——为什么有代理

摘要： 我们在做爬虫的过程中经常会遇到这样的情况，最初爬虫正常运行，正常抓取数据，一切看起来都是那么美好，然而一杯茶的功夫可能就会出现错误，比如403 Forbidden，这时候打开网页一看，可能会看到“您的IP访问频率太高”这样的提示。出现这种现象的原因是网站采取了一些反爬虫措施。比如，服务器会检测某个I 阅读全文

posted @ 2018-11-26 10:43 王大拿 阅读(384) 评论(0) 推荐(0) 编辑

导航