2020年2月24日

python爬虫（五） ProxyHandler处理器
摘要： ProxyHandler处理器一、如果我们在一段时间内用某个ip地址访问了一个网站次数过多，网站就检测到不正常，就会禁止这个ip地址的访问。所以我们可以设置一些代理服务器，每段时间换个代理，就算ip被禁止，我们也可以换个ip继续爬取 代理有 1、西刺免费代理：http://www.xicidaili 阅读全文
posted @ 2020-02-24 22:44 方木Fengl 阅读(410) 评论(0) 推荐(0) 编辑
python爬虫（二） urlparse和urlsplit函数
摘要： urlparse和urlsplit函数： urlparse： url='http://www.baidu.com/s?wd=python&username=abc#1' result=parse.urlparse(url) print(result) 输入的结果为解析之后的各部分 输出对应的参数： 阅读全文
posted @ 2020-02-24 18:49 方木Fengl 阅读(1860) 评论(0) 推荐(0) 编辑

导航