python 爬虫之requests模块设置代理

 

文章目录
为什么设置代理？
设置代理
常用获取代理IP地址
测试IP地址可用性
为什么设置代理？
我们都知道上网连接到互联网时会有一个【ip】地址。

而网站都有请求的临界点，当我们对一个网站发起多次请求时，网站发现请求次数超过了临界点，就会自动屏蔽掉我们的【ip】，这时就再也无法访问此网站了。

这就是基础的一种反爬技术

对于这种情况，解决方案也其实很简单：只需在请求时通过设置代理【ip】的方式，就可以解决啦。

在【requests】请求时，可以非常便捷的替换发给服务端的【ip】地址，这样网站面对多个不同的【ip】地址，就没有办法屏蔽。

设置代理
使用proxies方法传入字典格式的IP地址即可初步设置代理

import requests
url = 'https://www.shiguangkey.com'
proxies = {'http':'http://192.186.72.6:8000'}# ip地址
# 通过proxies参数传入ip
response = requests.get(url, proxies=proxies)
1
2
3
4
5
需要注意如果你用这个http去直接请求百度网址，其实用的不是代理的，是你自己的ip

这里要区别http和https，请求的网址前面带s你的代理ip也要是带s的才行

常用获取代理IP地址
网上可以找到免费的IP地址，但是免费的终究有些问题，比如很多会发现无法使用

⻄刺免费代理IP：http://www.xicidaili.com/
快代理：http://www.kuaidaili.com/
代理云：http://www.dailiyun.com/

测试IP地址可用性
这个网站可以测试简单的HTTP测试网页，我们可以用它来测试IP
http://www.httpbin.org/

我们在这个网址后加ip

发现网页会变成如下，我们的IP地址，那么我们如何做呢

如果IP地址不可用，则：
会出现这种错误
————————————————
版权声明：本文为CSDN博主「码农一号已就位」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/xdc1812547560/article/details/108112913