【转】天猫王德山谈性能测试
1.今天在我旁边的这位是天猫猫性能测试的负责人王德山，请您做下自我介绍。
王德山：大家好，我是来自阿里巴巴——天猫的王德山，花名叫耿电，我现在主要负责天猫的性能测试团队，包括天猫所有产品应用的性能测试、性能稳定和容量稳定，谢谢。
王德山：首先我想，现在天猫的双十一在互联网业界有一个很好的反映，现在这种模式也是被越来越越多的公司认可和尝试去推广。从性能角度来讲，从几个方面来看一下，第一个就是说，我们发起接受这个项目，他应该开始是从大众的需求、产品、营运和开发角度上，把测试作为出发点，帮我们介入双十一的挑战。我们性能角度有这么几个方面，一个是我们首先会评估当前的天猫这套应用体系的性能和容量支撑。第二个，因为产品是有需求的，我们对这个产品有准确的评估，会做一个比较有意思的预测，像10年、11年、12年，它的数量级是在整个的跨越甚至跳跃的。这对我们做性能测试或性能保障是一个比较大的挑战，正好接下来，我们聊聊这方面的行动：第一个就是对当前性能的容量评估，包括当前产品应用代码本身的健壮性、是否有瓶颈；第二，因为大促是一个比较烦杂、比较有挑战的一个事情，所以我们要做好一些保障；再有一个，专业技能方面就是预案，一个预案是我们预知当前所掌控的，另外一个是非掌控性的，我们要做一个后续的处理预案，出现类似异常的时候，我们从应用层面，或者从整个容量层面来做一个比较强的处理。最后就是说容量规划，需要非常有效，目前的跨机房的，包括网络流量的内容，是一个重头戏。
王德山：硬件方面因为我们会有不同的业务需求，天猫现在的产品，对我们技术人员来讲是一个非常应该是非常狂热、非常有趣的一个课题。我可以举个例子，它能覆盖到当前每一个话题，像搜索类的，我们就是针对硬件的需求，需要有大内存、CPU，，第二类，就是那种算法和渲染，对CPU消耗的比较大的这一大类，我们会有不同的硬件机型来支撑；第三类就是目前这种比较流行的Java虚拟机这块，Java虚拟机也是非常大的方面，这时我们从性能优化的角度，从代码的角度，包括一些为了保险去做一些非侵入式的日志打点、监控的角度，我们这样配置能够更加合理，我们对于不同的产品要对症下药去做物理支持，从应用测试来讲，我们对他是一视同仁的，我们做的目标就是说在这种不同软硬件之间上，保证我们的性能稳定和用户体验。
4.对于性能测试来说，您是建议在前期，规划就要做测试，还是在中后期，我们再把性能测试加进来，说一下你的方案？
王德山：首先我觉得这两种方式目前都会存在，因为我觉得第一个方面，这两个方式目前是平行都会存在的，第二个是有一定的倾向性，就是说我希望，把性能测试在开始的时候就能够接入进来，这是我在12年年终的时候，就会考虑从需求立项的时候我们性能测试团队就加入，产品的整个流程做一些变化，加入性能测试就需要往前做，因为这样我们才能从需求、商品的角度更好的做好本质工作，因为作为一个应用的测试人员，不了解业务的时候很难去推动工作的。另外一个，就是从性能保障角度，这个我觉得非常重要，因为我们有了产品的需求了，就说这些技术实现，因为性能测试时间会压缩，包括软件生命周期里面不同的变数，推定的两天时间让你做这个工作，可能在之后，一天，还有一夜，我们要做好更好的一些充分的准备工作，才能把工作有质量的完成，可是我觉得这种趋势是，性能测试在产品的立项，甚至在技术转型的时候，我们就会专注性能，目前做这种方式来进行。并且在整个应用服务系统周期中都存在性能监控，分析，性能优化至应用系统性能稳定。
5.就是在我们线上应用的时候，然后我们需要进行的一些监控措施，那些阿里目前来用的一些检测的工具，是一些厂商的，还是组件，还是你们自己写的，在监控时候，很多人就需要考虑对服务性能的一个损耗，这块你们怎么做？
王德山：我觉得这应该是两个问题，第一个，通过阿里淘宝天猫经过累计我们目前以自主创新为主的，像目前我们在用的，就是一个是，也有两个方向，因为这工具为代表性的有很多，但是我可以用概念来描述一下，第一个就是，现在生产线应用的监控，包括一些这种报警，日志，容量。第二个，基于业务的监控，因为这个业务，不同的方向上，因为这个比较详细一些，甚至深入到产品里面去了，就是两大类，目前自主创新的这种工具来创新的，因为现在，就说商用购买的比较少，但是有一个方面，就是我们可以去通过一些开源的工具来借鉴，还有我们做好的，我们把它开源出去。
王德山：这是跟这个公司的风格有关，我们做得很好了就要把它分享出去。
王德山：这个的确是一个非常重要的事情，因为刚才提到，我们在生产线上做一些监控，这样我可以追溯到09年的时候，09年我们在做一套比较大的监控系统，它是一个全方位的，基于各种应用后台的，从这种应用性能，应用的一些容量，用户体验，包括一些网络，还有覆盖不同业务，包括日志打点。刚开始，我们都是一种通过这种代理式的，还有侵入性，所有埋点，代码埋点，它是侵入性的，这是第一版，后续我们所说的，我们就是通过各种非侵入式的，甚至说尽量少侵入代码，或者少侵入本身方式来完成，我觉得这是一个趋势，因为当我们在生产线上去做这个工作时候，他本身会产生影响的，但是说，我们现在做得好，我们把它这种影响控制在范围之内，我觉得。
8.这种非侵入式也可以让比如说项目人员，和你们这些监控人员可以隔离开，不会影响他们代码？
王德山：隔离的有专门的团队会做这方面的工作。
9.比如说一旦我们的线上项目出现一些问题，它已经上线了，这时候需要怎么处理？
王德山：这是一个“惊喜”，带双引号的惊喜。当我收到这种信息的时候，一个是通过邮件，一个是通过手机短信、旺旺通知，要么线上报警，要么线上故障，当我们遇到这种报警的时候，作为性能测试人员，我们有责任去协助研发团队把这个事情搞清楚，大概有这样几个步骤：首先看，假如是一般的报警，我们去确认，排查问题解决掉。第二个，本身这个故障对业务产生了影响，造成了用户损害，我们需要立马修复这个BUG。还有就是从性能测试角度，有几个方面：一个是我们去协助开发一起来定位，通过各种的一些分析技术，像分析日志抓取缺陷，包括这种报警时的一些异常、用户的反馈，把这些信息收集起来，迅速的把它整理出有用的信息出来。第二个就是我们把这个问题在生产线上重现，，根据重现场景，捕获代码性能瓶颈，进而目标性优化。第三个就是，当我们把这些问题优化了以后，在线下做功能、性能的测试回归，确定没有问题了，通过语法预发测试、打补丁的方式去把性能瓶颈解决；杰茜莱就是故障的Review会议，我们要避免这种问题重演。
10.你刚才也提到也会进行线下的性能测试，你比如说双十一，这时我们要做线下性能的测试的时候，你需要很大一个高并发量，这时候我们怎么来做这种硬件和软件的一个规划？
王德山：因为这个课题比较大一些，说到了软硬规划。硬件这块，我们也会参与，主要是运维团队来做相关的工作。而同类的软件应用在性能上来讲，因为它属于一个性能容量的事情，我们不去做。我们把这稍微精确化一些，比如这样的例子，某一个应用需要支持一亿的访问量，那我们的目标很明确，一个是从代码生成角度，我可以保证应用的代码是OK的、是没有瓶颈的，但是从另外一个角度看，因为现在这个应用是在一定的硬件基础之上的，只有应用所用的硬件固定下之后，才能做基准，那么在这个基础之上，代码方面性能到瓶颈了，我需要考虑扩容，扩容后我们才能够说达到一亿PV量时的性能，这块是通过各部门协调配合的一个事情。除了硬件，还有比较重要的是我们底层系统性能的支持，上层应用，和底层包括数据库等需要流畅的运转才可以，因为在这里有应用之间联动的影响，特别现在的分布式应用，因为现在的应用，都是有几十个应用、上千个应用来组合，就像一个类似蜘蛛网似的，通过交互通信来完成一个事务，所以说这块它是一个复杂的课题，但是我们通过核心交易链路作为主线来把控。
王德山：这种云测试，就是我们性能这块还是比较少，在功能方面有探索，但是我不擅长这块，所以就省略过去。
12.作为一个性能测试专家，对于开发人员，您建议他们写代码时要遵循怎样一个规则，或者有哪些好的推荐？
王德山：我觉得就说测试开发，在一个软件生命周期里边，尤其数据这块我们应该共同去维护，共同去完成目标，达成一定的共识，但是我把这个话稍微转一下，可能会更客观一点，就是开发的代码，我们去测，测试跟开发是为了共同的维护这个产品，没有你我，这是一个。另外就是我们对外用户来讲，我们天猫的产品用户体验是有保障的，在这块，我通过一个建议性的合作。从性能测试角度，优化建立驱动跟开发合作，共同维护产品，实现团队内共赢。第一个是我们现在有自己的性能测试BUG库，我们有充分的性能测试数据分析的源泉，我们希望把这些性能瓶颈BUG能够把它归类，通过模型的方式，通过分享的方式，通过代码自动化的方式，能够让我们减少代码的性能故障和性能瓶颈，这个应该是一个循序渐进的工作，因为有好多的驱动在里边。另外一个，就是我们跟开发加强沟通，因为代码最初是开发写的，测试我们有自己一个专业领域，需要更多沟通。假如说开发有一些代码问题被我发现了，可能对我们来说这是一个好事情，对开发来讲也是一个很好的途径，因为我觉得这里没有孤立，也没有一些冲突，本身就是为了代码的这种产品到最后用户体验服务的过程，我觉得大家都是在这种交流和一些沟通，也都是在前进中。 InfoQ：咱们的采访到此结束，也预祝天猫在今年能取得更优异的成绩。
