学习3：豆瓣电影

待抓取页面：

编码如下:

import requests
import json
#1.指定url

url = 'https://movie.douban.com/j/chart/top_list'  
param = {
    'type': '24',
    'interval_id': '100:90',
    'action':'',
    'start': '1', #从第几部电影开始取
    'limit': '20', #一次取得个数
}

#2.进行UA伪装
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
}

#4.请求发送
#response = requests.post(url=post_url, data=data, headers=headers)
response = requests.get(url=url, params=param, headers=headers)
#获取响应数据：json()方法返回的是obj(如果确认响应数据是json类型，才可以用json)
list_data = response.json()

#5.持久化存储
#fileName = word + '.json'
fp = open('./douban.json', 'w', encoding='utf-8')
json.dump(list_data, fp=fp, ensure_ascii=False)

print('爬取结束!!!')

参考：

https://www.bilibili.com/video/BV1ha4y1H7sx?p=9

json在线格式化：https://www.bejson.com/