性能测试体系建设演进之路
题记
今年是我个人从事软件测试工作的第六个年头，职业生涯至今经历了功能-接口-自动化-性能测试岗位的变迁。
18年下半年开始以团队owner的角色进行工作开展，不过当时团队技术体系建设已经步入正轨，对我个人而言，并没有太多沉淀。
19年跳槽后，有幸从零开始主导我司的性能测试体系建设工作，个人之前的很多想法得以落地实现。
这也许是除了薪资之外，对我个人而言获得的最大成就感。。。
导图
演进
基础建设
1、文档建设
前段时间知乎回答了一个问题：做技术人是不是都反感写文字类的东西，比如需求文档，需求分析等等？之前的博客也写过类似的内容：性能测试从零开始实施指南——文档建设篇。
我个人认为无论是作为个人学习笔记抑或一个Team的累积沉淀，文档建设的工作必不可少，而且是重中之重。原因如下：
1）降低“口头说明”带来的风险；
2）文档是很重要的记录和交流介质；
3）便于事前、事中、事后快速回溯追踪；
4）降低工作交接、沟通的成本，提高效率；
5）文档是一次梳理思路，review的方式；
6）文档是很重要的工作产出，自我价值诉求的重要手段（KPI）；
当然，现在有很多在线协同文档工具，如confluence、语雀（参考-工具汇总）。我司性能团队文档类目如下：
2、资源管理
这里的资源主要指压测资源，包含如下几项：
1）压测机
2）压测场景
3）压测脚本
4）压测数据
无论是平台化还是基础的命令执行，其中要考虑的因素还是很多的，比如：
脚本命名规则：以接口名命名，见名知意；
文件命名规则：以参数类型、字段名命名；
权限管理：性能测试同学可以赋予root/s-user权限；开发&业务测试同学可以赋予ops/onlyread权限；
路径管理：按照服务器的访问权限&路径命名，比如：
压测脚本路径：ops/perftest/script/transcation/order/ordercreate.jmx
压测数据路径：ops/perftest/data/transcation/order/productId.csv
PS：如上命名规则和权限路径，以jmeter命令行启动场景为准，平台化可通过配置文件统一自定义。
3、环境建设
我个人强烈建议有一套独立的压测环境，这样既能做到和业务测试互不干扰，压测的结果相对来说也更贴近真实的场景。
考虑到成本和维护等因素，压测环境建议按照具体情况来配置，主要遵循如下几条原则：
1）机器配置和生产保持一致；
2）机器数量和生产进行等比缩容（可以同配置最小化，即1台机器1个服务）；
3）网关和注册中心&配置中心可以集群部署（按照流量大小）；
4）支持自动扩容、监控告警等功能（需要基础技术建设到一定程度，比如：发布&监控平台支持）
PS：上述原则，基于微服务架构！
4、技术选型
技术选型主要考虑如下几个方面：
1）压测工具：接入成本、学习成本，重点是快速产出有效直观的价值！
2）监控工具：监控工具要考虑到性能损耗、接入难度、全面性、易用性；
3）数据工具：包括造数工具、数据存储、解析等方面；
4）分析工具：主要指的是问题分析工具，比如JDK自带的JVM Profiler；
规范制定
技术体系建设中，规范的重要性不言而喻。在性能测试中，比较重要的有如下几条规范：
1、需求发起
性能是一种需求！需求从何而来，如何发起，准入准出条件，必须优先界定好。思维导图：
2、需求评估
在性能需求评估中，主要考虑如下几点：
1）可行性（必要性）分析；
2）收益率评估（投入/产出-ROI）；
3）约定关键时间节点，如提测、deadline；
4）统一重要指标口径，明确预期指标（业务&技术）；
3、资源排期
这里的资源主要指人力资源、时间窗口以及机器资源，对于一个team来说，资源排期很重要！
4、指标度量
这里的指标并非压测数据指标，而是从部门/Team角度长期来看，需要考虑的指标，主要参考如下几点：
1）成本：测试前后，机器成本降低了多少；
2）数据：每迭代/版本，服务/链路性能提升占比；
3）效率：每个阶段，准备/部署/测试耗时降低了多少；
4）输出：团队/部门内部技术分享、性能宣讲、质量意识提升比；
5）质量：每统计区间，线上服务可用性/稳定性提升比、故障率下降比；
6）赋能：每月/季度，业务测试团队性能测试工时/需求接入/技能提升占比；
5、测试方案
测试方案的规范，可以视公司研发文化、team大小、具体情况来制定。当然，制定一个规范模板还是很有必要的，这样不仅能对工作给出一定的指导方向，还便于其他干系人能快速了解。
参考：简易性能测试方案模板
6、测试报告
同测试方案一样，测试报告的规范模板也是很有必要的，同样可以对工作给出指导方向。
参考：简易性能测试报告模板
需求周期
1、调研评估
接触了很多做性能测试的同学，聊下来，发现部分同学对性能需求的可行性评估，依然不太明白为什么这么做。如上文所说，在性能需求调研评估过程中，要注意的几点分别如下：
1）可行性分析：即业务场景、该场景的技术实现方案、用户特征等，是否有必要开展性能测试；
推荐阅读：认清性能问题（Thinking Clearly about Performance）
2）收益率评估（ROI）:开展性能测试的成本，包括时间、人力、机器环境成本，以及技术改造成本；
3）约定关键时间节点，如提测、deadline：这样做的好处是能根据测试时间窗口更好的评估测试工作的安排，知道什么时间做什么，区分优先级很重要。
4）统一指标口径，明确预期指标：比如双11大促，技术指标包括：日常线上峰值流量、机器负载、预估流量递增比率、扩容速率、consumer group、告警阈值等；
而业务指标包括：预计GVM、活动场次时间、优惠券类型数量、订单量等指标。明确这些数据后，才能更好的评估需求，进行压测方案设计。
2、需求排期
需求排期的重要性不言而喻。如何在有限的资源下尽可能提高需求的吞吐量，除了个人工作效率、团队协同能力之外，良好的资源评估和任务分配是很重要的影响因素。
3、准入准出
无论是过早还是过晚的考虑性能问题，都会是一场灾难！
过早考虑不确定性较多，太晚的话，优化成本及风险又太高，因此，选择合适的时机开始，是很重要的。
性能测试切入时机，是个玄学，需要考虑需求类型、具体场景、资源、时间、优先级等很多因素。但一般来说，还是有适合大多数场景的参考原则，列举几项供参考：
1）普适性原则-功能测试提测阶段切入；
2）特殊性原则-电商双11，最少提前2个月准备；
3）迭代性原则-二轮测试开始时切入；
4）新服务原则-prd&技术review阶段切入；
数据管理
数据管理是性能测试中很重要的一环，无论是数据量级、分布方式、是否缓存、缓存大小还是热点数据，都是需要考虑的地方。
还有一点经常被忽略的，是数据多样性引起的覆盖率问题。性能测试中，主要有如下几种类型：
1、基础数据
对于性能测试来说，基础数据一般指的是支撑业务流程正常运行所必备的数据，需要考虑如下几个方面：
1）数据量级：根据环境具体配置信息，保证数据量级和生产环境等比例，是很有必要的事情；
2）数据脱敏：从经验来说，基础数据的量级一般较大，常见的准备方式都是copy生产数据并进行脱敏；
2、测试数据
测试数据是为了满足被测业务场景的链路而所需的数据，在具体的压测准备阶段，需要根据被测链路，针对性的准备测试数据，保证场景的正常执行；
3、唯一性数据
某些比较特殊的被测场景，所需的数据是具有唯一属性的，或者一次性使用的特性。
从经验来说，这类数据，建议通过走正常的业务逻辑去生成，可以根据所需数据量大小来准备。
4、参数化数据
这类数据一般是具有可复用性的，比如productId/userId...，建议提前了解整体的业务和技术类型，准备一批量级较大的数据，避免重复工作。
问题追踪
1、问题记录
针对压测过程中发现的问题进行分类记录汇总，是很重要的一件事。优点如下：
1）问题追溯
2）工作产出
3）输出规范手册
PS：性能缺陷分类参考
| 缺陷类型 | 缺陷描述 |
| 硬件 | 磁盘空间 |
| CPU | |
| IO读写速率 | |
| 内存 | |
| 网络 | 带宽 |
| 网络波动 | |
| CDN | |
| 延时 | |
| 丢包 | |
| 应用 | JVM |
| 代码逻辑 | |
| 配置 | JDK版本 |
| 底层配置 | |
| 参数配置 | |
| 数据库 | 索引 |
| 锁 | |
| 表空间 | |
| 慢SQL | |
| 数据量 | |
| 中间件 | 超时 |
| 线程池 | |
| 缓存策略 | |
| 最大连接数 | |
| 通信实现方式 | |
| 负载均衡 |
2、生命周期
性能问题的生命周期，和功能BUG一样，这点技术同学应该都懂。
3、方法输出
影响性能的因素有很多，但绝大多数的性能问题都是由于配置、参数、代码逻辑的问题导致。
通过对性能问题的分类记录汇总追溯，可以总结出一些比较通用的参考规范，类似《阿里巴巴java开发手册》。
常见影响性能的因素及优化建议如下：
1）日志打印：降低日志输出level，减少IO消耗；
日志打印建议移除json序列化操作；
关闭状态机内相关日志，添加开关，大促时关闭；
出参过多情况下，封装处理，只打印需要的核心参数；
避免统一日志处理的apo拦截，建议移除所有主动拦截，需要的地方添加注解；
2）缓存使用：针对不易发生变动/变动影响较小的调用添加缓存/数据快照；
3）调用方式：对于一些聚合类的接口调用，建议串行改并行/异步调用；
4）线程配置：隔离各接口使用的线程池，防止长短尾拖垮线程池；
为了防止网络抖动，建议线程数按照（CPU可用核心数/(1-阻塞系数)*2）配置。
worker-threads、maxConnections、ConnectTimeout、ReadTimeout等参数无需过高；
5）重复调用：微服务间的调用存在方法调用冗余情况，应尽量避免；
6）等待队列：根据等待队列长度算法来说，建议队列长度根据可接受的最长时间来配置，比如：
接受最长时间500ms，超过500ms还不能处理丢弃。已知正常rt25，每个线程500ms可以处理20个等待队列内的请求，
假若有16个线程，所以等待队列长度设置为320。队列过长无意义，无法新增非核心线程，且持续恶化处理速度。
监控体系
监控体系的构建，是一个长期迭代的过程，很考验基础技术建设的能力和程度。
除了压测本身所需的指标监控，还需要对被测服务的资源耗用（基础监控）、链路调用关系（链路监控）以及各种中间件进行监控。
1、压测监控
基于jmeter+influxdb+grafana搭建的压测监控大盘：
2、基础监控
基于Prometheus技术体系搭建的基础指标监控大盘：
3、链路监控
目前业界内链路监控工具还是蛮多的，而且开源的也不少，足以满足日常所需。比如Cat、Jaeger、Zipkin、Pinpoint、Skywalking等。
下图为Jaeger的链路追踪界面：
4、中间件监控
中间件监控，涉及的组件较多，比如redis/MQ/Kafka/DB等，上面提到的链路监控工具，实际上对中间件的监控支持还算不错，当然，各有优劣。
需要哪些指标，告警阈值如何设置，还是按需所配吧。
报表输出
报表对于一个team来说是很重要的工作量化产出！
1、轮次小结
一般来说，性能测试要执行多轮的测试验证，针对每轮结果进行直观的比较验证，无论从效率还是信息同步方面，都是很有帮助的。
2、数据归档
这里的数据归档，包含需求吞吐量、完成质量、遗留问题、压测结果等很多数据。
我们目前的做法及规划如下：
1）需求/问题归档：写入mysql，通过定时job扫描，并定期拉取数据进行不同维度的聚合计算，CC干系人。
2）压测数据归档：写入Influxdb，并提供查询API给到度量平台来聚合数据，做其他维度的报表展现。
3、性能基线
|
属性 |
说明 |
|
目的 |
作为衡量版本迭代的一个质量维度系数，更全面的衡量每版本的交付质量 |
|
衡量维度 |
1）每版本性能基准；2）长期性能变化趋势（季度/年度） |
|
执行方式 |
每版本迭代对核心链路进行覆盖执行，采用回归测试策略 |
|
执行时间 |
二轮回归开始→发布预发之前 |
性能基线的建立，有以下几点需要注意：
1）定义基准：包括术语、维度、范围、指标等信息的统一说明；
2）基准数值：个人建议可接受降幅原则上≤5%；
3）跟踪方式：性能变化的跟踪方式，和上述的衡量维度类似，分短期和长期，时间区间可自定义；
4）实施说明：包含执行的时间、范围、具体方式、准入准出条件，该任务最好具体到人；
5）前置条件：核心链路梳理、初始版本基准数值确认、环境/压测机/权限分配/路径/脚本/数据；
PS：如何追踪、如何统计并聚合计算，根据team情况和具体情形自行确定！
4、容量规划
容量规划是一个长期建设的过程，目前我司也是规划中，具体如何开展，什么时候开展，有哪些方法论，业内目前并没有一个普适性的方法论。
可以参考我之前的一篇博客：浅谈容量测试与容量规划
赋能开源
我个人认为，性能是一个团队所必需具备的能力和特质，并不是少数专职性能测试同学才能做得事情。
在基础的技术建设和性能测试成熟度到一定程度时，可将部分压测相关工作&权限赋予业务测试和业务研发团队，这样不仅有助于工作上互相了解，
更能提高整个团队的能力，性能测试同学也可以抽出更多时间在稳定性保障工作上，而不是写个脚本压测下，就完事的重复工作。
更多阅读：当我们讨论性能测试时，我们在说什么？
团队沉淀
要想不断提高团队的技术、沟通协同、解决问题能力，团队升级是需要时刻考虑的。
只有不断提升团队整体的能力，个人的能力才会更快的提升。一般来说，常见的方式有如下几种：
1）技术累积：前面说的文档建设就是个很好的方式，还可以输出技术白皮书等内容；
2）内部培训：建议定期开展，一般每个月固定开展一次，包括技术、业务、经验和教训；
3）团队分享：指的是包含整个研发部门甚至整个公司的跨团队分享，还是建议积极参与；
4）公开沙龙：当团队规模，技术累积等到了一定程度，可以对外举行技术沙龙，进一步提升技术影响力的同时，也是一个很好的锻炼个人能力的方式。有输入有输出，才能有所得；
5）技术大会：每年都有很多的业内技术大会，可以挑选具有一定影响力和知名的行业大会，在团队里挑选部分优秀的同事参加，然后分享，这也是一个促进团队凝聚力的方式。
