urllib.request.Request对象封装请求

合集 - python爬虫(26)

1.使用urllib爬取百度搜索html2024-09-12

2.urllib.request.Request对象封装请求2024-09-12

3.urllib发送get请求_中文传参问题2024-09-124.urllib发送post请求获取html源代码2024-09-145.获取动态页面html2024-09-156.忽略SSL证书验证2024-09-157.使用fake-useragent库伪装请求头2024-09-158.urllib自定义opener对象设置代理IP2024-09-169.爬虫cookie的使用2024-09-1710.保存与读取cookie2024-09-1811.使用urllib.error进行请求异常处理2024-09-1812.使用requests库发送get和post请求2024-09-2113.使用Request伪装User-Agent和IP地址2024-09-2214.requests设置超时时间/requests.Session自动保存cookie/verify忽略ssl证书2024-09-2315.re模块的正则表达式规则2024-09-2516.使用re的正则表达式提取腾讯体育新闻摘要2024-09-2617.BeautifulSoup4解析数据2024-09-2618.bs4.find_all()搜索文档树和css选择器提取解析后的html数据2024-09-2819.bs4解析并提取人民网新闻标题数据2024-09-2820.xpath解析数据2024-09-2921.谷歌浏览器的xpath插件安装2024-09-3022.使用re和lxml的xpath功能提取纵横中文网小说推荐榜前3页标题2024-10-0323.JSON数据2024-10-0324.使用jsonpath快速提取json的数据2024-10-0425.提取猫眼电影正在热映电影以及评分2024-10-0926.单线程与多线程爬虫2024-10-14

收起

一些服务器只允许普通浏览器的请求而不允许来自脚本的请求，可以使用urllib.request.Request对象封装请求头的信息（请求头需要以字典的形式封装），伪装成普通浏览器发送请求。

urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)

headers字典的键值对会作为参数调用add_header()方法，详细见python官方文档：

https://docs.python.org/3.12/library/urllib.request.html

user-agent请求头信息查看方法

1. http://httpbin.org/get可以帮助开发者测试http响应和请求

2. 浏览器开发者工具查看

使用httpbin工具进行请求响应测试

未封装请求头

 from urllib.request import Request, urlopen
# 请求地址
url = 'http://httpbin.org/get'
# 创建request对象
req = Request(url)
# 发送请求
resp = urlopen(req)
# 读取响应内容
print(resp.read().decode())
# 关闭连接
resp.close()

响应结果：

{
  "args": {}, 
  "headers": {
    "Accept-Encoding": "identity", 
    "Host": "httpbin.org", 
    "User-Agent": "Python-urllib/3.12", 
    "X-Amzn-Trace-Id": "Root=1-66e2bac5-5ae0d2f95970fd2938a9976d"
  }, 
  "origin": "111.8.73.196", 
  "url": "http://httpbin.org/get"
}

封装请求头的user-agent信息

from urllib.request import Request, urlopen
# 请求地址
url = 'http://httpbin.org/get'
# 创建request对象
user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.64 Safari/537.36'
headers = {'user-agent': user_agent}
req = Request(url, headers=headers)
# 发送请求
resp = urlopen(req)
# 读取响应内容
print(resp.read().decode())
# 关闭连接
resp.close()

响应结果：

{
  "args": {}, 
  "headers": {
    "Accept-Encoding": "identity", 
    "Host": "httpbin.org", 
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.64 Safari/537.36", 
    "X-Amzn-Trace-Id": "Root=1-66e2c23c-20813ff66fbcba0e293b3ee0"
  }, 
  "origin": "111.8.73.196", 
  "url": "http://httpbin.org/get"
}