[转]多变量测试：5个简单步骤提升转化率
看了这篇文章，感觉测试工程师们好机智啊！
摘要
在这篇文章中，我们谈谈如何使用科学的办法，使用A/B测试和多变量测试，去为网站创造更多的销售、下载、注册（或达到任何其他商业目标）。
前言
自Google出现并改变了游戏规则之后，用户对于网页的关注时间一直在下降。对于任何一个时下话题，有千万条结果可以关注，可以抓住访问者注意力的机会非常明显地下降了（2002年，BBC报告指出大约在9秒内）。想象一下你自己浏览网页时的时：你会阅读所有的文字和图片，尝试着彻底了解整个网页内容是什么吗？最有可能的答案是：不会。伴随着充斥四周的信息轰炸，我们像被宠坏了的孩子那样，不会投入足够的的注意力去关注一个网页到底想告诉我们什么。
我们快速决定是否关注一个网站时，取决于我们在几毫秒的时间里可以弄清楚多少东西。提供良好的第一印象是设计师和网站所有者的责任。说服访问者的机会非常小，大部分设计（很可能也包括你）将这个作为次要工作，因为大家觉得设计师只关乎美学。然而，大多数的网站并不是是为了给访问者留下深刻印象，大部分的网站是为了销售而存在的。无论它是为了让访问者去订阅博客还是下载一个试用版软件，每一个网站的存在最终都是为了销售某些东西。
在这篇文章中，我们谈谈如何使用科学的办法，使用A/B测试和多变量测试，去为网站创造更多的销售、下载、注册（或达到任何其他商业目标）。与一切和科学相关的东西一样，这篇文章将一步一步地探索并重现那些增加你转化率（客户与访问者的比率）的方法。还有，你可能会对之前发表在这里的一篇文章《终极A/B测试指南》感兴趣。
1. 定义挑战
怎么让网站用户注意到你提供的东西，然后让他们采取行动呢？我想要在我自己个人博客回答那个软件下载黄金页面的问题。这个页面有所有的正确元素：产品名称、产品说明、认证、奖励、得分和一个突出的下载链接。但是，只有40%的访问者下载了这个免费的软件。请注意，这个页面中几乎所有网页流量都是有针对性的，要么是通过google搜索，要么是来源于相关的参考网站。所以，为什么那剩下的60%访问者不下载这个软件呢？修补这个漏洞就是我的挑战。
就我而言，所需的操作是让访问者下载这个软件，挑战是让下载率从40%提升到尽可能的高。一些最通常的可以使用A/B测试的挑战有：
- 提高注册率，减少跳出率，提高电子报订阅量。
- 提高从登陆页中收集到的线索数量，提高白皮书或软件试用版的下载量。
- 优化购买和促销，大幅提高从访问者到客户的转化率。
完全有可能的是你的网站必须要满足多种目的。例如，一个博客的挑战是得到更多的订阅量和提高访问者的参与度（根据评论数量）。在那种情况下，最好的策略是是每次解决一个（清晰定义的）挑战。
快速概览：A/B测试。查看详细
2. 假设
下一步是做一个低转换率的假设名单（采取行动的访客的百分比），低转换率很难得出准确结果（这就是为什么我们称他们为假设），但是仍有三个不错的资源可以帮助你：
（1）你：是的，你！ 虽然你很难不爱上自己的网站，但现在是时候进行自我批评了。 试着跟着你的访客走，你的网页所提供的是否足以吸引到一个没有相关知识背景的访客？ 请记住，这不像你，你的游客不会在早上醒来说：哇，这东西太棒了！ 批判自己的网站是一个很好的改进方法。
（2）网站分析数据：获得改进办法的另一个资源是您的分析工具。 具体来说，提交的资料和搜索的关键字提供了有价值的数据。 例如，有许多访客来到你的网页搜索了你可能没有注意到的关键字。 在这种情况下，访客可能会错误的认为你提供的资源并不是他们正在搜索的东西而离开你的网站， 处理这类案例可以提高转换率。
（3）可用性测试：从可用性测试中获取到的反馈总会令你感到惊讶！ 也许你会发现，游客甚至不知道网页所提供的东西。 在这种情况下，测试可激发行动的颜色和尺寸大小是一个很不错的办法。如果你没有一个大的预算，可以尝试可负担得起的服务如可用性测试或批量反馈。
关键点： 确定哪些因素影响转换率。
从别人那得到的反馈并不能准确的评估你的网站，你可以记下可能会影响转换的想法。 对于我的软件下载网页，我假设下载率下降主要是由于两个原因：1、大多数访客没有注意到下载链接。2、许多访客不知道该软件是免费下载的。
我的猜测正常的访问大概是这样：访问者来到这个网站，看到了一堆文字，四处寻找下载链接，因为某种原因没有找到（可能是由于标题颜色无差异），最后离开网站。另一些注意到下载链接的人可能不想有阅读文本的烦恼，哪里有提示说… …这是个免费的，可能他们认为该软件是一个试用版或是一个演示。
你可能有以下步骤的假设：
- 也许你的注册表单是太长，简短的表单将有助于增加注册量？
- 也许你的免费试用按钮不明显，大尺寸的下载按钮有助于增加下载量？
- 也许你的标题包含了大量的行业缩写，或是太普通？
- 也许你到达目标的着陆页面没有明显的下一个步骤导致大量的流失率？
3. A/B测试还是多变量测试?
一旦低转化率的原因清单列举完毕，你就要开动脑筋用不同观点去思考这些原因了。你在这一步需要做的就是，用不同的版本去思考上一步罗列出来的那些因素。拿注册举例，不同的版本将会是：
- 表单区别：仅有两块的简化表单；不需要电子邮箱地址的表单；多步骤表单；长表单
- 提交按钮区别：提交或者免费注册或者立即注册又或者现在就注册！
如果你怀疑这些小区别没法对转化率有任何显著影响，你该去阅读下 37signal的这篇提升注册30%，它只是测试了简单的头条新闻的变化。同样，你也应该去阅读下Dustin Curtis让他的Twitter跟随着增加了173%，仅仅通过改变链接的文字为你应该在Twitter上跟随我。
A/B测试
在A/B测试中（也被称为分离测试），你一次只对页面上的一种因素进行比较，这个因素也许是网页中影响转化率的关键（例如按钮颜色、尺寸、广告复制标题）。相比而言，多变量测试是把许多因素同时测试。但是，A/B测试比多维度测试更简单也更容易完成。
多变量测试
在多变量测试中，你要识别页面中影响转换率的不同的区块/因素。这些因素产生的不同变化，从而共同导致了网站的不同版本。多变量测试要得出结果的时间比A/B测试长 ，但是它更有可能得出较好的结果。
关键词：产生变化
推导性测试
再说回那个增加软件页面中下载量的难题，我用我自己的工具，可视化网站优化者，这个为产生的变化提供了一个可视化的界面，但是你也可以使用其他软件。一个显而易见的办法让访客更容易注意到下载链接，就是让下载的区域变成页面中最明显的部分。在网页的设计中，下载的标题尺寸和颜色和网页的其他部分溶在了一起，从而导致人们没注意到下载链接。
对于多变量测试 ，我选择了页面里两个因素来制造变化：侧边栏的下载标题和它下面的PDF生产商下载链接。测试聚焦于免费这个词的效果，以及高亮下载区域的效果。以下就是这个测试之后的变化：
对于下载标题
- 下载 用红色
- 免费下载用红色
- 下载用默认颜色，但是更大的字体尺寸
对于PDF生产商链接
- PDF生产商用默认颜色，但是更大的字体尺寸
- PDF生产商用红色
在多变量测试中，不同的变化综合导致了不同版本的网页。在这个案例中，结合以上变化，就有了一个共计12（4×3）个的不同版本（自动的），每个版本都有一个下载标题以及一个PDF生产商链接（变化1是控制了的或者默认的变化）
不同版本的下载区域被使用在多维度测试中
由于定义的原因，我把两个不同区域的变化组合到了一起，因此这个测试就叫做变量测试 。如果我只是在单一的区域做变化，例如下载标题，那么这个测试就应该叫A/B测试。
关键词：定义测试目标
每个测试都要有个目标，来衡量不同版本的效果。在这个测试中，目标就是下载的次数。其他类型的目标可能是注册数、购买述、点击数、曝光机会、浏览量或者流失率。定义与你商业目标相关的测试目标是非常重要的，例如，一个电子商务商店若要优化其销售，不应该把点击加入购物车定义为目标，而应该把购买完成后的感谢页面的访问定义为目标。
4. 进行测试并且分析结果
什么是A/B测试或多变量测试呢，很简单：当您的网页有访客时，随机显示一个版本的网页。 换句话说，你的流量平均分布在不同的版本。 各个版本的职能是为测试跟踪指定目标的变化。 例如，在我的情况下，目标是增加下载的数量，每一次访问者下载该软件时，可视化网站尽可能跟踪展示给游客的网页。设置一个使用这个工具的测试在这里可以帮助我做选择，所见即所得编辑器产生的变化，立即浏览到指定目标在这个网页上如何活动。
经过大量访客在不同版本上测试进行比较，看看哪一个是表现最好，又有多少改善。
关键点： 分析结果。
运行了大约4周的测试后，我对我的软件下载测试出了一份结果。 你能猜出哪一种变化的下载量最大？ 有多少改善？ 我是能够实现超过现有的40％的转换率？
屏住呼吸，结果是：
注：％默认的完善的计算公式为 100 *（变化％-控制％）/（控制％）
＃：指上面的截图中所描述的是组合数目。
可信度*：统计上结果的置信水平（不犯错的概率）。
你可以观察到的标题为红色免费下载转化率39％升到63％，60％的惊人增长。 有下载大字体大小（与链接，红色的组合）也产生了积极的改善（43％）超过默认组合。 所有结果前三名在统计上达到95％或更多的置信水平。看到下载有一个固定的增长，意味着我可以在这网页上安全地执行这些转变。 还要注意，即使是表现最差的组合有大约超过4％的改善，虽然它并不显著。
值得关注的是， 测试结果可能不可靠 ，而且出现的改善可能是由于机会。因此，必须了解不同参数的可靠性影响：
- 浏览人数：访客数量多，测试结果会更可靠。 你可以使用如持续计算的分割测试法，估计您的测试需要多少访客。
- 转换速率：在一般情况下，与转换率高的（比如40-50％）的网页相比。转换率较低的（比如1-2％）网页需要更长的时间才可获得具有统计意义的结果。
- 在性能上的差异：一个在转变行为有很大差异（例如10％）的测试比一个差异极小（0.5％左右）的测试要可靠得多。
不管你使用的是自动取得可靠性结果的工具，还是使用在线计算器来衡量结果的可信度，这是很重要的一个工具。 使用和执行不可靠的结果实际上会导致性能下降。A/B测试信度分析如何计算可以阅读文章 统计分析和A/B测试，或者我的博客文章 A/B测试的数学运算。
5. 从测试结果中学习
不管页面的优化版本是否被察觉，每一个尝试都会带来很多收获。以下是从我的尝试中得出的若干要点:
- 免费是一个很吸引人眼球的字眼。如果你提供免费的东西，那可能是在做一个次优的东西，所以不要在页面上太明显。
- 免费广告最好在操作链接的附近展示，举个例子，免费下载的广告展示在下载链接的周围。
- 为什么不把免费二字设置为可点击？这个问题使我们想到了重要的一点。我敢肯定如果我分析了页面上的链接点击情况，我应该会发现很多用户在点击了免费下载的标题后才意外地发现这不是链接。我应该测试一个标题可点击的版本。
- 红色只有结合其他元素例如免费（或其他带有引起行动的文字）时，才会引起访客的注意并让他们采取行动。但如果你的文字没有说服力，访客大概不会采用任何行动的。
- 引起行动的文字大小也是影响因素。较大的字体告诉访客这里是需要特别注意的部分。例如。下载申请与页面上的其他内容相比更重要。
即使你不记得以上各点，但请务必记住一个关键点：在您的网站没有测试他们的时候不要复制上述建议！
每个网站都是独一无二的，每次转换的目标也是不同的。而一般关于免费的影响意见，关于字的红色以及引起行动的文字的大小都是符合逻辑的。但是最明智的做法是创建一个快速测试，确定其效力。
A/B测试在刺激公司的收入和利润方面有很大的潜力。 尽管如此，奇怪的是采用A/B测试的人并不多。如果你还没有做过A/B区别测试，为什么会这样呢？ 如果你之前做的A/B测试或多变量测试，请在下面分享您的经验，以便别人可以了解真实的例子。
