Python爬取ajax加载的内容

在爬取某个实验室安全教育的练习的答案的时候，使用Python的requests库直接爬取该网页，结果与浏览器所看到内容不同。

import requests

url='xxxx'    #要爬取的网站，这里省略
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36'}

res = requests.get(url, headers=headers)
res.encoding = 'utf-8'
html = res.text

with open('d:/html.txt','w',encoding='utf-8') as f:#写入文件
    f.write(html)

爬取的结果如下图所示：

有些时候我们使用浏览器查看页面正常显示的数据与使用requests抓取页面html得到的结果不一致，这是因为requests获取的是原始的HTML文档，而浏览器中的页面是经过JavaScript处理数据后的结果。这些处理过的数据可能是通过Ajax加载的，可能包含HTML文档中，可能经过特定算法计算后生成的。可以看到试卷和题目是动态加载的，直接进行get获取不到。

 

 对该网页进行抓包，在一个xhr里发现了所需要爬取的数据。

 

 可以看到所需资源的url，请求方式是post。

 

 

 

 

　重新改写代码

mport requests
from bs4 import BeautifulSoup
import json
import jsonpath

html_url = "xxxx"    #这里改用新网址

payload = {'ID':'9','Type':'xx'}

res = requests.post(html_url,data=payload)
res.encoding = 'utf-8'
html=res.text

with open("d:/test.jtxt",'w',encoding='utf-8') as f:
        f.write(html)

结果如下图：

 

 

可以看到是XML格式， 使用bs4库的BeautifulSoup模块进行解析；string标签下又是json格式的数据，使用jsonpath提取json格式中的数据。

from bs4 import BeautifulSoup
import json
import jsonpath

#解析XML
soup = BeautifulSoup(html,"xml")
s = soup.string #获取string标签下的内容

with open("d:/selfstudy.json",'w',encoding='utf-8') as f:
        f.write(soup.string)#将数据写入json文件

#加载json文件,返回值为python的字典对象
obj = json.load(open('d:/selfstudy.json','r',encoding='utf-8'))

#获取题目和答案
caption = jsonpath.jsonpath(obj,'$..Caption')#jsonpath语法 $..+根节点名称
answer = jsonpath.jsonpath(obj,'$..AnSwer')

with open('d:/safe.txt','w',encoding='utf-8') as f:#写入文件
        for i in range(len(caption)):#标题和答案都是list类型且长度相等
                f.write(caption[i]+'\t答案：'+answer[i]+'\n')

附上结果图：

 

代码汇总：

import requests
from bs4 import BeautifulSoup
import json
import jsonpath

html_url = "xxxx"

payload = {'ID':'9','Type':'xx'}

res = requests.post(html_url,data=payload)
res.encoding = 'utf-8'
html=res.text

#解析XML
soup = BeautifulSoup(html,"xml")

with open("d:/selfstudy.json",'w',encoding='utf-8') as f:
        f.write(soup.string)#获取soup标签下的数据
        
#加载json文件
obj = json.load(open('d:/selfstudy.json','r',encoding='utf-8'))#转换为dict对象

#使用jsonpath读取根节点的数据
caption = jsonpath.jsonpath(obj,'$..Caption')#jsonpath语法 $..+根节点名称
answer = jsonpath.jsonpath(obj,'$..AnSwer')

with open('d:/safe.txt','w',encoding='utf-8') as f:#写入文件
        for i in range(len(caption)):
                f.write(caption[i]+'\t答案：'+answer[i]+'\n')

 

 

参考资料：

http://t.zoukankan.com/yunlongaimeng-p-9535386.html

https://blog.csdn.net/qq_34160248/article/details/121605538