随笔分类 - Python3网络爬虫 / 09.代理使用
摘要：准备工作 需要先获取一个可用代理，代理就是 IP 地址和端口的组合，就是 <ip>:<port> 这样的格式。如果代理需要访问认证，那就还需要额外的用户名密码两个信息。 那怎么获取一个可用代理呢？ 使用搜索引擎搜索 “代理” 关键字，可以看到许多代理服务网站，网站上会有很多免费或付费代理，比如快代理
阅读全文
摘要：在做爬虫的过程中经常会遇到这样的情况，最初爬虫正常运行，正常抓取数据，一切看起来都是那么美好，然而一杯茶的功夫可能就会出现错误，比如 403 Forbidden，这时打开网页一看，可能会看到 “您的 IP 访问频率太高” 这样的提示。出现这种现象的原因是网站采取了一些反爬虫措施。比如，服务器会检测某
阅读全文
