随笔 - 39,  文章 - 181,  评论 - 5,  阅读 - 14万
< 2025年1月 >
29 30 31 1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31 1
2 3 4 5 6 7 8

今天我们来讲一下,requests的代理。

普通代理

1
2
3
4
5
6
7
8
import requests
 
proxies = {
  "http": "http://10.10.1.10:3128",
  "https": "https://10.10.1.10:1080",
}
 
requests.get("http://example.org", proxies=proxies)

 你也可以通过环境变量 HTTP_PROXY 和 HTTPS_PROXY 来配置代理。

1
2
3
4
5
6
$ export HTTP_PROXY="http://10.10.1.10:3128"
$ export HTTPS_PROXY="https://10.10.1.10:1080"
 
$ python
>>> import requests
>>> requests.get("http://example.org")

  私密代理

私密代理指定的是付费的代理,需要用户名和密码

1
2
3
proxies = {
    "http": "http://user:pass@10.10.1.10:3128/",
}

注意,代理 URL 必须包含连接方式。

socks代理

在本地:当你的电脑上安装了shadowsocks,可以使用这种方案

1
2
3
你可以用 pip 获取依赖:
 
$ pip install requests[socks]

  

1
2
3
4
5
6
7
8
proxies = {
    'http': 'socks5://127.0.0.1:1080',
    'https': 'socks5://127.0.0.1:1080'
}
 
r = requests.get('https://ip.cn/',headers=headers,proxies=proxies,timeout=2)
with open("a.html",'w',encoding='utf-8') as f:
    f.write(r.text)

 别忘记开启你的shadowsocks

还可以使用pysocks模块,详情见他的官方文档https://pypi.org/project/PySocks/

复制代码
import socks
import socket
import requests

s = socks.socksocket()

socks.set_default_proxy(socks.SOCKS5,"127.0.0.1",1086)#端口号默认是1080,因为我的ss上设定的端口号是1086所以这里用的是
socket.socket = socks.socksocket
headers = {
    "User-Agent": 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36',
}



r = requests.get('https://ip.cn/',headers=headers,timeout=2)
with open("a.html",'w',encoding='utf-8') as f:
    f.write(r.text)
复制代码

 我在想一个问题,在服务器上如何实现socks代理呢,在服务器上我们不能按照shadowsocks,在这种情况下该如何进行呢,我还没有想好,这个问题先放一下

 

posted on   程序员一学徒  阅读(3138)  评论(0编辑  收藏  举报
编辑推荐:
· 你所不知道的 C/C++ 宏知识
· 聊一聊 操作系统蓝屏 c0000102 的故障分析
· SQL Server 内存占用高分析
· .NET Core GC计划阶段(plan_phase)底层原理浅谈
· .NET开发智能桌面机器人:用.NET IoT库编写驱动控制两个屏幕
阅读排行:
· 我干了两个月的大项目,开源了!
· 推荐一款非常好用的在线 SSH 管理工具
· 千万级的大表,如何做性能调优?
· 聊一聊 操作系统蓝屏 c0000102 的故障分析
· .NET周刊【1月第1期 2025-01-05】
点击右上角即可分享
微信分享提示