爬虫学习(三)——get请求参数解析

get请求

       用户输入搜索的内容,发送请求,将请求的内容保存起来。

       get请求的本质是在地址栏中输入参数进行的一种请求方式。

 

解析参数使用urllib.parse

import urllib.parse

# 在百度搜索“中国”关键字,得到的得到的url如下:
string= "https://www.baidu.com/s?ie=utf-8&word=%E4%B8%AD%E5%9B%BD&tn=98537121_hao_pg"

#unquote()反应用,解析参数,将二进制转成我们能看懂的中文形式

string = urllib.parse.unquote(string)

print(string)

# 显示结果:

https://www.baidu.com/s?ie=utf-8&word=中国&tn=98537121_hao_pg

 

 第一种方式

country =input("请输入要检索的信息")
# 输入内容:王家兴

# 引用,即解析参数,将中文转换成为二进制形式
# 对指定的参数径解析
string = urllib.parse.quote(country)

# 将参数写成字典的格式
data = {
"ie":"utf-8",
"word":"%s"%string
}

# 拼接路由

lt = []

for ie,word in data.items():

      lt.append(ie+"="+word)

# join()函数的作用是将将“&”作为分隔符对列表lt中的字符串进行拼接
var ="&".join(lt)

string= "https://www.baidu.com/s?%s"%var
print(string)

# 显示结果:
# https://www.baidu.com/s?ie=utf-8&word=%E7%8E%8B%E5%AE%B6%E5%85%B4

 

第二种方式

# 将参数写成字典的格式
data = {
"ie":"utf-8",
"word":"澳大利亚"
}
# urlencode()函数是专门对url进行操作的函数,并且把参数编码成为url类型的数据
urldata = urllib.parse.urlencode(data)

print(urldata)
# 显示结果:
# ie=utf-8&word=%E6%BE%B3%E5%A4%A7%E5%88%A9%E4%BA%9A

# 对url进行拼接
urlall= "https://www.baidu.com/s?%s"%urldata

# 显示结果:
print(urlall)
# https://www.baidu.com/s?ie=utf-8&word=%E6%BE%B3%E5%A4%A7%E5%88%A9%E4%BA%9A

 

 

ajax的GET请求

 请求头信息(浏览器请求头信息)

  1. Request URL:
    https://movie.douban.com/top250?start=25&filter=
  2. Request Method:
    GET
  3. Status Code:
    200 OK
  4. Remote Address:
    154.8.131.165:443
  5. Referrer Policy:
    unsafe-url
爬虫代码如下:
import urllib.request

import urllib.parse
url = "https://movie.douban.com/top250?"
start = int(input("输入要查看到电影的页码:"))
data = {
"start": (start - 1) * 25,
"filter": "",
}
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"}
data = urllib.parse.urlencode(data)
url+=data
print(url)
request =urllib.request.Request(url,headers = headers)
response = urllib.request.urlopen(request)
print(response.read().decode("utf8"))



posted @ 2019-02-12 11:55  石桥浪子  阅读(2842)  评论(0编辑  收藏  举报