动态数据加载爬取

爬取豆瓣动态加载的数据内容：

在写程序之前先要提取出动态加载数据的所在url和param

通常情况下直接ctrl+f 进行全局搜索

demo：

url = 'https://movie.douban.com/j/chart/top_list'
params = {
    'type': '5',
    'interval_id': '100:90',
    'action': '',
    'start': '0',
    'limit': '20'
}
response = requests.get(url=url, params=params, headers=headers)
page_html = response.json()
for movie in page_html:
    name = movie['title']
    score = movie['score']
    print(name, score)

结果：

 

 有些动态加载的数据在全局搜索无法找到时，数据可能进行了加密等操作，后续更新然后破解加密的数据。