使用build_opener 自定义 opener

 使用build_opener 自定义 opener,这种方法的好处是可以方便的拓展功能。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
import urllib.request
import http.cookiejar
 
def makeMyOpener(head={
    'Connection''Keep-Alive',
    'Accept''text/html, application/xhtml+xml, */*',
    'Accept-Language''en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3',
    'User-Agent''Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko'}):
    cj = http.cookiejar.CookieJar()
    cj_process = urllib.request.HTTPCookieProcessor()
 
    # 定义opener
    opener = urllib.request.build_opener(cj_process)
    header = []
    for key,value in head.items():
        header.append((key,value))
 
    # opener变量add_headers为一个list
    opener.addheaders = header
    return opener
 
oper = makeMyOpener()#opener对象
uop = oper.open('http://www.baidu.com/',timeout=1000)
data = uop.read().decode('utf-8')
print(data)

以下是利用Fiddler抓到的GET报文

posted @   ,,,沙子,,,  阅读(506)  评论(0编辑  收藏  举报
编辑推荐:
· Java 中堆内存和栈内存上的数据分布和特点
· 开发中对象命名的一点思考
· .NET Core内存结构体系(Windows环境)底层原理浅谈
· C# 深度学习:对抗生成网络(GAN)训练头像生成模型
· .NET 适配 HarmonyOS 进展
阅读排行:
· 用 DeepSeek 给对象做个网站,她一定感动坏了
· DeepSeek+PageAssist实现本地大模型联网
· 手把手教你更优雅的享受 DeepSeek
· Java轻量级代码工程
· 从 14 秒到 1 秒:MySQL DDL 性能优化实战
点击右上角即可分享
微信分享提示