爬取豆瓣电影分类排行榜 https://movie.douban.com/中的电影详情数据
import requests
import json
if __name__ == '__main__':
#制定url
url = 'https://movie.douban.com/j/chart/top_list'
params = {
'type':'24',
'interval_id':'100:90',
'action':'',
'start':'20',#从库中的第几部电影开始取
'limit':'20'
}
#请求之前进行UA伪装
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36'
}
response = requests.get(url=url, params=params,headers=headers)
#josn 返回的是一个对象 如果确认响应数据是json类型,可以使用.json()方法
list_data = response.json()
#持久化存储
fileName = './douban.json'
fp = open(fileName,'w',encoding='utf-8')
json.dump(list_data,fp=fp,ensure_ascii=False)
print("爬取结束!!!")