阿里智能化接口测试平台--暴雪
2020-04-02 12:38 zouhui 阅读(2333) 评论(0) 编辑 收藏 举报阿里QA导读:随着人工智能的发展,AI概念已经站在了时代的风口,掀起一阵全行业的get into AI热潮;智能测试作为AI热潮下一个新的测试领域,也正在被各互联网公司所追逐,探索和应用。本次分享,将为大家介绍阿里智能化接口测试平台--暴雪,聊一聊她的起源,转变,破局和未来。 |
简介:
郑红(佚葭),阿里巴巴资深测试开发专家,2009年从上海交大研究生毕业后,一直专注从事测试开发工作。早期主要在百度和一淘从事搜索领域相关测试,2012年加入天猫技术部负责核心交易链路相关测试,目前主要负责盒马、天猫超市和新零售终端的测试团队。致力于推动测试团队从工具化、自动化往平台化、智能化思维转变,通过技术手段赋能开发和测试,做最高效的用户体验的捍卫者。
暴雪的起源
2016年11月30日,暴雪起源于天猫技术质量部的第一次核心成员脑暴会,此次头脑风暴奠定了团队后面几年的转型方向,即智能化方向。智能化是极具有前瞻性的,当时质量部的远大目标就是要搞好智能化。当时我们有几千个自动化测试用例,但还是有漏测,跟不上开发的节奏。要解决这个问题就要搞好智能化,智能化要干什么呢?团队当时决定搞大数据方向,将线上数据引流下来就可以覆盖原来覆盖不到的用例,而且引流也稳定,维护成本也会下降,所以,在智能化中我们确定了最接地气的大数据测试方向。
针对大数据测试方向,团队用一周时间制定了规划,在规划的三个方向中,如今依然没有完全落地,其中的怎么用线上东西去mock环境不稳定的问题在今天依然被拿出来讨论,这值得反思,当我们回头看自己做的事情时,有时候会发现很多东西值得思考。确定了目标之后,我们就要为之努力,在规划的过程中,我们分析智能化到底要做什么,当时的doom已经有强大的线上采集和回放能力,那么,我们的定位是什么呢?通过与doom的沟通,我们希望doom与暴雪是中间件与业务系统之间的关系,前者提供能力,后者提供更上层的解决方案,在这个过程中,我们可以提供什么解决方案呢?在规划中逐步对目标更加清晰,提出了“让天下没有难写的接口测试”的梦想,这个梦想的实质有三点,一是指不难写,二是指接口测试,三是指能够实现页面的交互、可视化、有输入输出。 项目取名为“智能接口测试3.0”,寓意我们是接口测试发展里程中的第三代,同时我们想把一代的自动化理念表达进去。Itest、testNG为接口测试1.0版本,接口测试2.0实现了可视化,提供了各种校验的页面式的交互,使写脚本的成本变低。如果我们可以通过大数据变得具有学习能力,不需人为设计,我们称之为“智能接⼝测试3.0”。在接口的测试过程中有三大痛点:环境、场景、数据。
在2017年3月,接口测试3.0第一版正式发布,此时还没有真正的落地,并不能真正的使用。2017年4月,第二期体验优化完成。2017年6月,第三期易用性优化完成,这一版更倾向于测试视角的用法。在这过程中,业务线同学兼顾开发,迭代速度低于预期速度,这时也有了天启和青龙,让团队更坚定了研究方向是正确的方向,但同时也有了危机感。有梦才有远方,回首三年,我们庆幸当初定下了长远的目标,使我们能够持之以恒。
暴雪的转变
在2017年7月,我们开始有专人投入开发,需求迭代速度加快。2017年8月,我们开始尝试探索智能化,如用例智能推荐、无脑回归。2017年11月,我们终于实现了从内往外走,开始加大运营投入,且取得了非常好的效果,慢慢的拥有了两个金牌用户:B2B团队和闲鱼团队。2018年1月,“智能接⼝测试3.0”正式更名为“暴雪”。我们针对重点应用和非核心应用的运营思路是不同的。
那么,转变的背后我们有哪些思考?具体包括以下几方面:
效能目标设定:更贴近用户价值的量化目标。看到有专人投入,刚开始的迭代速度很快,定什么样的目标才是合理的?因为投入专人后一直在开发,但是价值在哪里,效能目标怎么设定?我们要设定更贴近用户价值的量化目标,即要完成多少个应用接入,要完成多少个case业务落地等,这才是暴雪存在的意义。
智能化初探:由于算法大赛的刺激,每个小组自我报名参赛,敢想敢做,一切皆有可能。
能力综合体:如果真的要做一个效能的平台,就必须成为一个能力综合体,不是说技术好就一定有更大的价值,产品能力+技术能力+运营能力都不可或缺。
当时的产品很烂,我们做各种交互,产品有很多层,要做一个好的产品,需要具备交互优化的能力,在决策某些功能时,什么该第一优先,什么该次级优先,既要了解用户需求,又不能被用户牵着鼻子走,如果没有自己的思考,就不会提供更强大的价值,这是效能产品同学需要重点去思考的。在这个转变阶段,形成了产品的价值定位,或者说能力节点,包括以下几部分:
大数据、高效、通用、闭环、智能,在这个阶段有流量测试的提效,测试覆盖更全面,研发流程全面升级,AI测试也得到了改革。此时,暴雪已经具备了一定的价值,用户数开始攀升,处于几十个应用接入的阶段。
暴雪的破局
2018.04 爱迪生赛后,团队士气一时陷入低迷,得奖的前三名全部是大数据采集回放领域的,暴雪并不在其中。那么,我们的竞争力是什么?我们是不是在重复造轮? 这时我们思考了以下三个问题:
用户市场很广,虽然TMF有天启,但当前产品有差异化,服务好非TMF,价值空间依旧在。
用户痛点还很多,应该共建互通,攻坚技术难题,聚焦用户价值。
智能化探索之路还很远,创新力才是竞争力,不一定拘泥于当下几个点。
我们得出以下结论:
核心价值:广大非TMF应用的技术同学的测试赋能,解决质量和效率问题。
竞争力:不断的用创新探索智能化测试。
方向决策:进一步开放共赢,包括与AE、蚂蚁合作等,大家会有各种各样的想法,最后都能在平台上一起合作,最后形成各种解决方案,服务相同的自动化和接口测试。
重新扬帆起航
那么,在这一年多的时间里,我们做了哪三个重大的事情呢?
更优的架构:一旦用户体量上去后,架构的好坏就会决定未来的发展,新暴雪平台,与DOOM解耦,跑得更快,创造更多可能性。
更丰富的产品:无脑回归加强,增加了业务维度,可以自动识别业务规则,根据流量告诉你哪些规则组合还没有生成用例;异常接口测试,读接口链路测试,写接口链路测试、测试度量(灰度发布度量,慢sql预测)。
更开放的思想:适配蚂蚁用暴雪,与AE共建精准回归,与蚂蚁compass合作,支持供应链-氢气球端式录制,更多open api的开放。
破局之后,现在的暴雪有40多个BU的用户,接入应用数达700多个,周活跃用户接近200个,以前我们追求的指标是多少应用的接入,随着不断的深化,就会发现这个指标是不对的,可能接入后就死掉了,全部是非活跃用户,还是不能说自己有价值,所以从2018年开始,我们开始追求活跃用户数,活跃用户多,说明真正为用户创造了价值。
目标暴雪的产品能力树如图所示,读接口实时对比、异常测试等都是今年刚release出去的版本。
暴雪的展望
暴雪的产品展望如图所示,最上面的产品层就是我们要创造的价值,往下的业务层、基础层是必须具备的能力,暴雪的价值表达更多的是在产品层,未来我们希望能够通过自己的流量的智能转化生成出新的东西。如果暴雪等产品拥有懂代码的能力,就可以智能的覆盖更多的东西。未来智能化就是一是往底层修炼到更懂代码,一是更懂业务,暴雪目前还是依赖人去录入,未来可能没有人自己也可以探索到。 整个产品,更多还是在代码质量的领域,未来暴雪要保持三个方向,一是还要在这个领域做深耕,不是在功能点做深耕;二是智能化;三是开放,做到业务线和效能组的共赢,谁是主引擎并没有那么重要。