关于爬虫urllib.request模块、urllib.parse模块的基础使用

#构建get参数
data={
    "start":(page-1)*number ,
    "limit": number
}
#将字典转化为 query_string
query_string = urllib.parse.urlencode(data)

#构建完整的请求url
movie_url+=query_string
#爬取肯德基餐厅 查询某个地区的餐厅信息
#实则是通过构造post传参 捕获肯德基的查询地址端口
import  urllib.request
import  urllib.parse

post_url = "http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword"

#form_data 生成字典来拼接生成url
city= input("请输入你要查询的城市:")
page = input("请输入要查询的页数:")
size = input("请输入要查询多少个:")

#关于post参数
form_data = {
    'cname': '',
    'pid':'',
    'keyword': city,
    'pageIndex': page,
    'pageSize': size
}

#构建请求头
headers={
   'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:71.0) Gecko/20100101 Firefox/71.0'
}

#发送请求
request = urllib.request.Request(url=post_url,headers=headers)
#post数据需要加这一句编码
form_data =urllib.parse.urlencode(form_data).encode()

#获取响应
response = urllib.request.urlopen(request,data=form_data)

print(response.read().decode())

posted @ 2020-01-12 15:11  求知鱼  阅读(304)  评论(0编辑  收藏  举报