How Indeed Uses Proctor for A/B Testing

原文链接:https://engineering.indeedblog.com/blog/2014/11/how-indeed-uses-proctor-for-a-b-testing-2/

1. Proctor at Indeed

在前一篇博客文章中,我们介绍了开源AB测试框架Proctor提供的特性和工具。接下来,我们分享将Proctor集成到开发流程中的一些细节。

1.1 可定制化的Proctor Webapp

TODO

1.2 使用Jira进行问题追踪

TODO

1.3 测试定义文件

我们把测试定义存储在一个叫“proctor-data”的项目仓库中。项目中每个测试定义包含一个文件:test-definitions/<testName>/definition.json

最频繁的是通过Proctor Webapp对测试定义进行修改,改webapp对定义文件中的json进行修改,并将改动(代表登录用户)提交到版本控制系统。

proctor-data项目中,测试定义文件复制到了两个分支:qa 和 production。当一个测试定义版本提交到qa分支时,整个测试定义文件都被拷贝上来,并提交(而不是个diff)。类似的,production分支也一样。由于每个测试定义有一个文件,每次都提交整个文件,就避免了冲突,维护了json文件的完整性。

1.4 构建、部署测试矩阵

1.5 应用程序中的Proctor

1.6 测试组成员

1.7 不断变化的桶分配

1.8 helpers

2. 适用于Indeed,也适用于你

posted @ 2021-01-19 19:51  不写诗的诗人小安  阅读(137)  评论(0编辑  收藏  举报