利用selenium抓取网页的ajax请求

部门需要一个自动化脚本，完成web端界面功能的冒烟，并且需要抓取加载页面时的ajax请求，从接口层面判断请求是否成功。查阅了很多资料都没有人有过相关问题的处理经验，在处理过程中也踩了很多坑，所以如果你也有这个需要，就继续往下看吧~

环境及语言：

Python

selenium3.14

为什么selenium不能直接拦截请求body呢？这是Chrome官方故意而为之的，详情可参考这个网址：

https://bugs.chromium.org/p/chromedriver/issues/detail?id=2267&q=performance%20response%20body&can=1

上网引擎搜索后，找到的解决方案有以下三种：

1、走代理，在代理层面截取日志请求；这个如果代理过期，请求就会变得巨慢，所以没有采用，有需要可以自行研究。

2、用selenium-wire，这个是一个GitHub上的开源项目，可以直接截取response_code和body，原理大概翻了一下源码，应该走的也是代理，只不过这个项目替你封装好了。

当时看到的时候真是激动坏了，pip install一下，问题全部解决。但是当我兴致满满的运行代码时，发现网页报错： err_proxy_connection_failed.心凉了一大半，去开源项目下寻求答案，这个原来不止我这边发生过，可以说是这个开源项目的一个bug，至今为止未被close。不死心的调试了很久，都没能走通这条路，所以含泪放弃。事实说明，还是不要随便相信star只有一两百颗星的项目。开源代码放在下面，万一你那里能走通呢：

https://github.com/wkeeling/selenium-wire

3、开启selenium的性能抓取，在性能日志里面可以做改动，以拦截response_body:

整体的一个思路先概括一下：

结合selenium与Chrome devtool：selenium可开启性能日志，根据性能日志中的Network.responseReceived事件抓取requestId和对应的url ，然后结合selenium提供的execute方法，传入requestId参数，即可获得对应的body回参。

execute_cdp_cmd()方法的源码里面有示例，写的很清楚，可以去看一下，本文也会给出代码示例：

3.1 selenium截取开启日志的代码如下：

1 caps = DesiredCapabilities.CHROME
2 caps['goog:loggingPrefs'] = {'performance': 'ALL'}
3 
4 def driver():
5     global driver
6     driver = webdriver.Chrome(desired_capabilities=caps)
7     driver.maximize_window()

请注意第二行代码，这是我踩得第一个坑：

很多教程里面给的代码如下：

caps['loggingPrefs'] = {'performance': 'ALL'}，用这段代码去打开性能日志，但是这样运行起来是会报错的，原因是自chromedriver, 75.0.3770.8起，就必须这样去运行了。

注意，只打开性能日志还是不能抓取body的，如果你的需求只是判断状态码，那么上面的解决方式已经足够了。

3.2 下面记录怎么让我们抓取到返回的消息体：

1、为什么需要获取requestid:

Chrome性能日志的获取需要配合Chrome DevTool的方法一起使用，这个文档详细列出了Chrome提供的domains,定位到domains——network下，可以选取需要的methods:https://chromedevtools.github.io/devtools-protocol/tot/Network/

在这个里面，我选到了自己需要的方法，如下图，可以看到，这里需要传入一个参数，叫做requestId，它是唯一的请求ID，获得这个我们就能抓取到想要的body了。但是这个requestId真是听都没听过，要去从哪里获取呢？这时候就需要去分析一下我们抓取的性能日志里面的事件了。

2、关于Chrome返回的日志事件，可以参加这个博客，里面有很详细介绍，我就是基于这个博客（https://blog.csdn.net/zhuyiquan/article/details/80148767#networkrequestwillbesent。），分析出自己要用到的事件的——Network.responseReceived，里面含有requestid的返回值。

1  def parse_response_body(driver):
2   """获取requestid"""
3      browser_log = driver.get_log('performance')
4      events = [_process_browser_log_entry(entry) for entry in browser_log]
5     events_response = [event for event in events if 'Network.responseReceived' == event['method']]　# 根据Network.responseReceived这个network，解析出requestId
6 　　　for res in events_response:
7 　　　　　　requestId = res["params"]["requestId"]

3、综上，再结合selenium中的方法即可：

1 def execute_cdp_cmd(driver, cmd, cmd_args):
2     return driver.execute("executeCdpCommand", {'cmd': cmd, 'params': cmd_args})['value']
3  
4 
5 response_body = driver.execute_cdp_cmd('Network.getResponseBody', {'requestId': requestId}