【Python爬虫】 学习笔记 -- get请求的方法

#引入库函数
import urllib.request
import urllib.parse
url = "https://www.baidu.com/s?wd="
#为了反爬而设定的
headers ={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'
}
#具体搜索的一些参数，以字典形式存储
data={
    'wd' : '周杰伦',
    'sex': '男',
    'location' : '中国台湾省'
}
#Get请求urlencode方法(适合于多组搜索，单个kw可用quote方法)
name = urllib.parse.urlencode(data)
#请求资源路径合并
url = url + name
#请求对象的定制
request = urllib.request.Request(url=url,headers=headers)
#模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)
#获取网页源码的数据
content = response.read().decode('utf-8')
#打印数据
print(content)