diff实践

接口Diff测试，简单来说就是比对相同接口在不同版本/不同环境下面的返回内容是否符合预期。对于日常迭代的接口来说，Diff测试是我们接口基本功能测试的有效补充，因为采用的是自动化的手段，它可以利用线上大量的请求日志在新旧两个版本中进行回放，而我们手工/自动化的接口回归往往只局限于少量的测试数据，很难覆盖到大量的、在生产环境真实会发生的异常请求数据。 

当测试的接口响应中包括100+的字段需要校验时，对字段逐一校验的传统方式效率差的问题就会突显出来了。这种场景我们可以把某一版本(v1)接口的响应作为基准，然后再对比新版本(v2)的响应，通过工具或者编写代码直接查看响应的异同，进而快速定位接口响应信息。通过工具比对接口在这里就不重点介绍了，有很多方法，包括：linux系统中的diff命令，windows可使用工具notepad++等等。在这里我重点介绍一下如何通过代码实现diff操作，我们以python为例。

如果你曾有过大量的接口测试实践，相信对上面的说明会深有感触，单纯的依靠有限的CASE进行接口功能覆盖，上线后或多或少还是会发现一些异常。过多的美言我们不再累述，下面我们就一起看下实现思路和主要的实现细节吧。

 

实现思路

 

 

 

 

接口diff与接口测试无异，更多需要接口覆盖度（要是接口参数组合和异常情况的覆盖），与功能业务测试相辅相成

接口diff主要的使用场景：接口功能重构、功能快速迭代、沙箱验证回归

接口diff是对两个不同环境进行数据比对，那么环境的数据源就必须一致，因此比对时源数据的正确性就很重要

接口diff对新增接口的对比验证有一定的局限性

目前主要针对接口返回的全部数据进行比对，只对变化的字段进行过滤（如metric），后续用例量不断增加，diff比对的耗时也会递增，这样就要提前考虑比对数据字段中要过滤的部分和增加代码并发执行策略

用例执行过程中因为服务的不稳定经常发生接口异常的情况，故加入重试机制

 

import difflib
import sys
#读文件
def read_file(filename):
      try:
           with open(filename, 'r') as f:
            return f.readlines()
      except IOError:
           print("ERROR: 没有找到文件:%s或读取文件失败！"% filename)
           sys.exit(1)
def compare_file(file1, file2, out_file):
    file1_content = read_file(file1)
    file2_content = read_file(file2)
    d = difflib.HtmlDiff() #以html方式比较
    result = d.make_file(file1_content,file2_content) #生成html文本
    with open(out_file, 'w') as f: #把html文本写入html文件
        f.writelines(result)
if __name__ == '__main__':
    compare_file(r'D:\MS\log1.log', r'D:\MS\log2.log',r'D:\MS\result.html')

如果对比文件中有中文，那么需要加上 encoding='utf-8'

with open(filename, 'r',encoding='utf-8') as f:

 

 

 

红色表示log1.log的内容被删除了

绿色表示log2.log新增的内容

黄色表示log1.log和log2.log中发生变化的内容

 

上面的例子是从两个文件中读取数据，然后进行的比较，代码如下：

file1_content =read_file(file1) 
 
file2_content = read_file(file2)

 那么在真实测试时，我们需要的是接口响应的比对，怎么做呢?也很容易，我们只需要把read_file换成，发送接口请求(使用requests模块)并获取响应即可。

response1=requests.get(req) 
 
response2=requests.get(req) 

 在这里仍然有一个问题，我们做接口测试时，是一个请求一个请求校验的，当多个请求批量校验时，我们是否有必要每做一个请求就生成一个比对错误的html报告呢?显然是不需要的，理想情况是，当两个请求响应出现错误的时候生成错误报告!那么接下来需要思考的是怎么样判断html报告中是否有错误出现呢?在这里我介绍一个比较简单的方法，在diff生成的html报告，我们通过报告中的颜色标识来判断(红色、绿色和红色)diff结果，如下图：

 

 

if result.count('<span class="diff_sub">') >0 or result.count('<span class="diff_chg">')>0 or result.count('<span class="diff_add">')>0: 
    print ("find diff") 
    with open(out_file, 'w', encoding='utf-8') as f: 
           f.writelines(result) 
else: 
      print("not find diff, no html report generate!") 

 

 

转载自：https://developer.51cto.com/article/647319.html