今天我们来讲一下,requests的代理。
普通代理
1 2 3 4 5 6 7 8 | import requests proxies = { "http" : "http://10.10.1.10:3128" , "https" : "https://10.10.1.10:1080" , } requests.get( "http://example.org" , proxies = proxies) |
你也可以通过环境变量 HTTP_PROXY
和 HTTPS_PROXY
来配置代理。
1 2 3 4 5 6 | $ export HTTP_PROXY = "http://10.10.1.10:3128" $ export HTTPS_PROXY = "https://10.10.1.10:1080" $ python >>> import requests >>> requests.get( "http://example.org" ) |
私密代理
私密代理指定的是付费的代理,需要用户名和密码
1 2 3 | proxies = { "http" : "http://user:pass@10.10.1.10:3128/" , } |
注意,代理 URL 必须包含连接方式。
socks代理
在本地:当你的电脑上安装了shadowsocks,可以使用这种方案
1 2 3 | 你可以用 pip 获取依赖: $ pip install requests[socks] |
1 2 3 4 5 6 7 8 | proxies = { 'http' : 'socks5://127.0.0.1:1080' , 'https' : 'socks5://127.0.0.1:1080' } r = requests.get( 'https://ip.cn/' ,headers = headers,proxies = proxies,timeout = 2 ) with open ( "a.html" , 'w' ,encoding = 'utf-8' ) as f: f.write(r.text) |
别忘记开启你的shadowsocks
还可以使用pysocks模块,详情见他的官方文档https://pypi.org/project/PySocks/
import socks import socket import requests s = socks.socksocket() socks.set_default_proxy(socks.SOCKS5,"127.0.0.1",1086)#端口号默认是1080,因为我的ss上设定的端口号是1086所以这里用的是 socket.socket = socks.socksocket headers = { "User-Agent": 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36', } r = requests.get('https://ip.cn/',headers=headers,timeout=2) with open("a.html",'w',encoding='utf-8') as f: f.write(r.text)
我在想一个问题,在服务器上如何实现socks代理呢,在服务器上我们不能按照shadowsocks,在这种情况下该如何进行呢,我还没有想好,这个问题先放一下
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 你所不知道的 C/C++ 宏知识
· 聊一聊 操作系统蓝屏 c0000102 的故障分析
· SQL Server 内存占用高分析
· .NET Core GC计划阶段(plan_phase)底层原理浅谈
· .NET开发智能桌面机器人:用.NET IoT库编写驱动控制两个屏幕
· 我干了两个月的大项目,开源了!
· 推荐一款非常好用的在线 SSH 管理工具
· 千万级的大表,如何做性能调优?
· 聊一聊 操作系统蓝屏 c0000102 的故障分析
· .NET周刊【1月第1期 2025-01-05】