urllib发送get请求_中文传参问题

合集 - python爬虫(26)

1.使用urllib爬取百度搜索html2024-09-122.urllib.request.Request对象封装请求2024-09-12

3.urllib发送get请求_中文传参问题2024-09-12

4.urllib发送post请求获取html源代码2024-09-145.获取动态页面html2024-09-156.忽略SSL证书验证2024-09-157.使用fake-useragent库伪装请求头2024-09-158.urllib自定义opener对象设置代理IP2024-09-169.爬虫cookie的使用2024-09-1710.保存与读取cookie2024-09-1811.使用urllib.error进行请求异常处理2024-09-1812.使用requests库发送get和post请求2024-09-2113.使用Request伪装User-Agent和IP地址2024-09-2214.requests设置超时时间/requests.Session自动保存cookie/verify忽略ssl证书2024-09-2315.re模块的正则表达式规则2024-09-2516.使用re的正则表达式提取腾讯体育新闻摘要2024-09-2617.BeautifulSoup4解析数据2024-09-2618.bs4.find_all()搜索文档树和css选择器提取解析后的html数据2024-09-2819.bs4解析并提取人民网新闻标题数据2024-09-2820.xpath解析数据2024-09-2921.谷歌浏览器的xpath插件安装2024-09-3022.使用re和lxml的xpath功能提取纵横中文网小说推荐榜前3页标题2024-10-0323.JSON数据2024-10-0324.使用jsonpath快速提取json的数据2024-10-0425.提取猫眼电影正在热映电影以及评分2024-10-0926.单线程与多线程爬虫2024-10-14

收起

GET请求是HTTP协议中的一种基本方法，当需要在GET请求中传递中文参数时需要额外对中文进行编码（英文不需要），因为url中只能包含ascii字符。

可以使用urllib.parser.urlencode()或urllib.parse.quote()方法对中文转码。

详细查官方文档： https://docs.python.org/3.12/library/urllib.parse.html#module-urllib.parse

查看使用百度搜索“python爬虫”时，url会传递哪些参数

传递参数以“？”开始，由“&”分割。其中“python爬虫”传递给了“wd”。

浏览器将中文转换为url编码

直接使用中文传参会报错

对wd直接传中文参数

from urllib.request import urlopen, Request
# 请求地址
url = 'https://www.baidu.com/s?wd=python爬虫'
# 创建Request对象
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.64 Safari/537.36'}
req = Request(url, headers=headers)
# 发送请求
resp = urlopen(req)
# 读取响应内容
print(resp.read().decode())
# 关闭连接
resp.close()

 

部分报错信息为：

UnicodeEncodeError: 'ascii' codec can't encode characters

修改上述代码url = 'https://www.baidu.com/s?wd=python%E7%88%AC%E8%99%AB'可以执行成功

使用python的urllib库对中文编码

urllib.parse.quote()

from urllib.parse import quote
# urllib.parse.quote()转换一个值
args = 'python爬虫'
print(quote(args))
'''
运行结果：
python%E7%88%AC%E8%99%AB
'''

urllib.parse.urlencode()

from urllib.parse import urlencode
# urllib.parse.urlencode() 转换键值对
args = {'wd': 'python爬虫'}
print(urlencode(args))
'''
运行结果：
wd=python%E7%88%AC%E8%99%AB
'''

两种方法实现含中文传参的GET请求

from urllib.request import Request, urlopen
from urllib.parse import quote, urlencode
# 请求地址
args1 = 'python爬虫' # 方法一，使用urllib.parse.quote()
# 方法二，使用urllib.parse.urlencode()
# args2 = {'wd': 'python爬虫'}
url = f'https://www.baidu.com/s?wd={quote(args1)}' 
# url = f'https://www.baidu.com/s?{urlencode(args2)}'
# 创建Request对象
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.64 Safari/537.36'}
req = Request(url, headers=headers)
# 发送请求
resp = urlopen(req)
# 获取响应码
print(resp.getcode())
# 关闭连接
resp.close()

响应码为200即请求成功。