关于 urlencode 的使用和 json 模块的介绍

先附上一段 “百度翻译” 的爬虫代码

# python爬虫实现百度翻译
# urllib和request POST参数提交
from urllib import request,parse
import json

def fanyi(keyword):
    base_url = 'https://fanyi.baidu.com/sug'
    # 构建请求对象
    data = {'kw': keyword}
    data = parse.urlencode(data).encode('utf-8')
    # 模拟浏览器
    header = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"}
    req = request.Request(url=base_url,data=data,headers=header)  
    res = request.urlopen(req)

    # 获取响应的json字符串
    str_json = res.read().decode('utf-8')
    # 把json转换成字典
    myjson = json.loads(str_json)  # 将字符串转化为字典
    info = myjson['data'][0]['v']
    print(info)

if __name__=='__main__':
    while True:
        keyword = input('请输入翻译的单词：')
        if keyword == 'q':
            break
        fanyi(keyword)

1. 其中，data = parse.urlencode(data).encode('utf-8') 的作用是，将字典里面所有的键值转化为 query-string 格式（key=value&key=value），并且将中文转码。

2. 然后，req = request.Request(url=base_url,data=data,headers=header)的作用是，将base_url, data, headers 拼接成一个请求的 url, 命名为 req。

注：在这里要仔细介绍一下 python3 的编码问题。（看了好多资料才明白）

      参考 https://blog.csdn.net/xiaofan_0208/article/details/77366363

              https://blog.csdn.net/apache0554/article/details/53889253

　　　　data = parse.urlencode(data).encode('utf-8') ，是将data转化为 utf-8格式的编码。decode()都是将其他编码转换为Unicode编码。

 

3. myjson = json.loads(str_json) 的作用是，将字符串转化为字典，因为从浏览器读取出来的内容都是字符串格式。

    编码和解码JSON数据的两个主要的函数是 json.dumps() 和 json.loads()。参考本片文章：https://blog.csdn.net/liangxy2014/article/details/78984998

import json

data = {
'name' : 'ACME',
'shares' : 100,
'price' : 542.23
}
json_str = json.dumps(data)   # 将字典编码成 json 格式
data = json.loads(json_str)   # 将 json文本 解码成字典格式