爬虫入门--requests基本使用

Python 内置了 requests 模块，该模块主要用来发 送 HTTP 请求，requests 模块比 urllib 模块更简洁。
本文通过几个小案例简单介绍requests的基础用法

Python百度翻译

import json
import requests

if __name__ == '__main__':
    url = 'https://fanyi.baidu.com/sug'
    # UA伪装
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
    }
    # 封装请求参数
    keyword = input('请输入翻译关键字：')
    # post请求
    data = {
        'kw': keyword
    }
    response = requests.post(url=url, data=data, headers=headers)
    jsonData = response.json()
    # 持久化存储
    fileName = keyword + '.json'
    with open(fileName, 'w', encoding='utf-8') as fp:
        json.dump(jsonData, fp=fp, ensure_ascii=False)
    print('操作完成')

Python豆瓣电影排行版

import json

import requests

if __name__ == '__main__':
    url = 'https://movie.douban.com/j/chart/top_list'
    # UA伪装
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
    }
    # get请求
    params = {
        'type': '24',
        'interval_id': '100:90',
        'action': '',
        'start': '0',
        'limit': '20'}
    response = requests.get(url=url, params=params, headers=headers)
    list_data = response.json()
    fp = open('douban.json', 'w', encoding='utf-8')
    json.dump(list_data, fp=fp, ensure_ascii=False)
    # 保存
    print('保存成功')

Python获取肯德基店面地址

这里涉及json的函数loads为把json字符串转为json实体
另外dumps为把json实体转为json字符串
josn_str=json.dumps(data,ensure_ascii=False)一般搭配ensure_ascii=False使用保存中文的正常转换

import json

import requests

if __name__ == '__main__':
    url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
    }
    data = {
        'cname': '温州',
        'pid': '',
        'pageIndex': '1',
        'pageSize': '10'
    }
    response = requests.post(url=url, data=data, headers=headers)
    jsonText = response.text
    dictData = json.loads(jsonText)
    fp = open('肯德基餐厅.json', 'w', encoding='utf-8')
    json.dump(dictData, fp=fp, ensure_ascii=False)
    print('保存成功')