爬取豆瓣电影分类排行榜 https://movie.douban.com/中的电影详情数据


import requests
import json
if __name__ == '__main__':
    #制定url
    url = 'https://movie.douban.com/j/chart/top_list'
    params = {
        'type':'24',
        'interval_id':'100:90',
        'action':'',
        'start':'20',#从库中的第几部电影开始取
        'limit':'20'
    }
    #请求之前进行UA伪装
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36'
    }
    response = requests.get(url=url, params=params,headers=headers)
    #josn 返回的是一个对象  如果确认响应数据是json类型,可以使用.json()方法
    list_data = response.json()
    #持久化存储
    fileName = './douban.json'
    fp = open(fileName,'w',encoding='utf-8')
    json.dump(list_data,fp=fp,ensure_ascii=False)
    print("爬取结束!!!")

 

posted @ 2024-02-22 15:20  会秃头的小白  阅读(70)  评论(0编辑  收藏  举报