How Indeed Uses Proctor for A/B Testing
原文链接:https://engineering.indeedblog.com/blog/2014/11/how-indeed-uses-proctor-for-a-b-testing-2/
1. Proctor at Indeed
在前一篇博客文章中,我们介绍了开源AB测试框架Proctor提供的特性和工具。接下来,我们分享将Proctor集成到开发流程中的一些细节。
1.1 可定制化的Proctor Webapp
TODO
1.2 使用Jira进行问题追踪
TODO
1.3 测试定义文件
我们把测试定义存储在一个叫“proctor-data”的项目仓库中。项目中每个测试定义包含一个文件:test-definitions/<testName>/definition.json
最频繁的是通过Proctor Webapp对测试定义进行修改,改webapp对定义文件中的json进行修改,并将改动(代表登录用户)提交到版本控制系统。
proctor-data项目中,测试定义文件复制到了两个分支:qa 和 production。当一个测试定义版本提交到qa分支时,整个测试定义文件都被拷贝上来,并提交(而不是个diff)。类似的,production分支也一样。由于每个测试定义有一个文件,每次都提交整个文件,就避免了冲突,维护了json文件的完整性。