如何使用python爬取网页动态数据
我们在使用python爬取网页数据的时候,会遇到页面的数据是通过js脚本动态加载的情况,这时候我们就得模拟接口请求信息,根据接口返回结果来获取我们想要的数据。
以某电影网站为例:我们要获取到电影名称以及对应的评分
首先我们通过开发者模式,找到请求该页面的接口信息
另外,为了能模拟浏览器访问接口信息,我们需要获取到请求头部信息
获取到以上信息,我们就可以通过python的requests库来模拟访问接口啦
1、导入requests库
import requests
2、定义请求参数信息
url = "https://movie.douban.com/j/search_subjects"
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:82.0) Gecko/20100101 Firefox/82.0",
}
param = {"type": "movie", "tag": "最新", "sort": "recommend", "page_limit": "20", "page_start": "0"}
3、获取请求的json对象
ret = requests.get(url, params=param, headers=header)
js = ret.json()
print(js)
4、根据翻页信息,我们知道"page_start"这个参数是每20递增一次的,可以通过定义变量使用for 循环来自动获取下一页信息,我们可以对以上代码进行优化。另外,为了防止请求过快,被当成恶意攻击,我们可以导入time模块,每次请求间隔2-3s
count = 0
for i in range(3):
param = {"type": "movie", "tag": "最新", "sort": "recommend", "page_limit": "20", "page_start": count}
time.sleep(random.uniform(2, 3))
ret = requests.get(url, params=param, headers=header)
js = ret.json()
for info in js["subjects"]:
rate, title = info["rate"], info["title"]
print(f"《{title}》的评分是:{rate}")
count += 20
这样我们就获取到想要的数据,不用挨个copy啦。我们可以把获取的数据写入到文件里永久保存,并进行整理。下次再分享