2018年1月9日
设置python爬虫IP代理(urllib/requests模块)
摘要： urllib模块设置代理 如果我们频繁用一个IP去爬取同一个网站的内容，很可能会被网站封杀IP。其中一种比较常见的方式就是设置代理IP 首先我们需要构建一个 类，随后将该类用于构建网页代开的opener的类，最后在request中安装opener requests模块使用代理 该模块设置代理非常容易 阅读全文
posted @ 2018-01-09 13:54 郭励之 阅读(608) 评论(0) 推荐(0) 编辑