精通Web Analytics 2.0 : 用户中心科学与在线统计艺术
第七章：失败更快：爆发测试与实验的能量
欢迎来到实验和测试这个棒极了的世界！
如果Web拥有一个超越所有其他渠道的巨大优势，它就是你的实验和失败能以非常低的成本进行的能力。
您可以根据自己的直觉回答关于网站的，产品或运输的成本或者目标网页的布局的问题，也可以借助快速的实验解答它们，在您的网站上实时运行然后客户可以帮助您选择优胜者。实验是快速的，廉价的并且可扩展的。所以不要去猜测; 学着更快地失败。
章节内容
- 一 测试选项的入门级：A / B和MVT
- 二 可行的测试思路
- 三 可控制的实验：加快您的分析过程！
- 四 创建和培养一种测试文化
人们已经进行了很长时间的实验，不仅仅是在化学实验室中，或者是以生物学的名义进行的交叉育种植物。“营销实验”作为一种科学，其实是一直存在的，从在全球发布之前在不同地域出现的测试概念，到在不同的国家不同的时间展示不同的电视节目或者向不同的观众。
尽管在线下世界我们有久远的测试传统，我们在网上却做的很少。这是一种真正的罪过，因为我们可以从离线实验技术中学到这么多，并且限制更少。
在线测试不是可选的。对于任意规模的每个公司，它都是强制性的。如果不使用测试的一些功能，您的公司将永远不会发展到其应有的宏伟高度。
测试最不被重视的一个方面是其综合性的价值主张。为你的公司考虑下以下的诱人的好处：
•你可以创造一种“想法民主”，即一个环境下想法会来自任何地方任何人，从HiPPO到门卫。
•您不再需要猜测在您的网站上什么会起作用。
•你可以提出大胆疯狂的想法，但你可以通过控制有多少人看到这个疯狂的想法以及有多少人会看到这个控制来管理风险。
•您可以早点而且经常启动，并且更快地失败; 您唯一的限制是您获得的流量数量和您拥有的想法。
•你控制着成功是什么 - 你确定目标，并且你决定你想要的结果。
•您允许客户参与，因为他们通常会体验您的网站，并帮助您选择优胜者（所有人并不知道他们正在测试中！）。
•如果费用是障碍的话，您可以免费的实验，使用免费的工具例如Google网站优化工具等，并且您可以明天开始（没有RFP，没有复杂的产品评估，没有公司官僚主义）。
•您不必购买一个网络分析工具，也不必为报表或者构建自己的关于内容或测试结果的多变量或回归平台而担心。每个测试工具都附带了所有的分析，报表和复杂的数学。
相信了吧？我希望是的。网站分析中很少有东西能与“测试和实验”的亚文化一样酷炫，令人兴奋，有趣和有影响力。这是一个罕见的区域，你可以在提高客户满意度的同时增加你的利润线。
现在，您将了解到可用的一些测试类型，您可以运行的测试种类，为什么可控制的实验将改变您的生活，以及如何在您的公司中创建一种测试文化。
一 测试选项的入门级：A / B和MVT
虽然看起来你可能有了许多的测试类型，实际上两种类型的测试技术是大家广泛使用地：A / B测试和多变量测试（MVT）。在以下章节中，您来瞧一瞧每种类型的利弊，以便您决定哪种会最适合您的情况。
1 A / B测试
A / B测试是一种用于对您网站上的一个网页的两个及以上版本进行测试的技术。网页的每个版本都是独一无二的，并且可以不费力地通过控制（原始页面）在视觉上实现差异化，无需太多的努力，如图7.1所示。
目标是尝试网页的几个版本，并确定哪个版本能提供期望的效果（例如，更多的点击次数，更多转化量，较低的跳出率或更多的捐赠数）。为了完成该测试，每个版本会随机地展示给设定了百分比的访问该页面的用户，通常是50％（或在A / B / C测试的情况下为33％，33％，34％）。
A / B测试最适合于测试网页的布局和模板发生的大改变，或者您希望从正常的结构化体验中添加或删除一些页面的情况（例如，申请信用卡有四个步骤 - 你可以测一测两个步骤或五个步骤的情况）。
A / B测试的入门相当简单。首先，请查看热门的落地网页报表，并确定跳出率最高的网页。然后进行头脑风暴练习，以找到改善页面的想法，整合最有希望的，并让（请求）您的设计师和开发人员创建关于新想法的一两个版本。启用新的想法和措施。简单吧。
1）A / B测试的优势
A / B测试可能是开启测试的最实惠的方式，因为您将利用公司现有的资源，工具是免费的，或者您甚至可以使用您自己的网站平台。 A / B测试在付出方面并不是很困难。
毫无疑问，A / B测试是开启您的测试过程的最好的技术。由于其固有的简单性，你可以高效的进行，在享受一些乐趣之时也可以激励你的公司。此外，结果也很容易沟通。你不需要为多变量测试，回归或其他这些（可爱的）事情所担心。
2）缺点A / B测试
A / B测试是一种“要么全部要么没有”的方法。换句话说，您正在测试网面，如下图7.1所示，您已经在页面上一次性地同时更改了许多部分。你可能很轻松地知道了哪个页面胜出了，但是找出哪些部分贡献最大或没有是比较难的。
A / B测试将永远是你武器库中的一个关键武器，但是过度地依赖A / B可能意味着你的变化太慢。
2 多变量测试
多变量测试是一种测试在一个网页上许多不同元素同时变化的技术。让我们用图7.2来说明这个概念。
您想要为Google优化该页面。图7.2中用长锁线圈出的四个元素是页面上的关键，并且会在此测试中进行优化。例如，您可以测试此页面上主文本的四个不同版本：“查找，整理和共享您的照片”以及主图像的几个版本（右下方）。您还将测试该页面：没有任何图片，并且与三个替代“免费下载”的按钮。
要执行MVT，您需要在页面上部署该测试工具的JavaScript代码。在上个例子中，您可以围绕着四个标识的部分放置代码，并将替代项上传到测试工具中（例如，Google Website Optimizer，Optimost，SiteSpect）。然后，交给它吧。
根据您选择的设置，该网页的访客会看到一个动态创建的网页，包含有测试的那些组件的变化版本（在这种情况下会是一个不同的图片，按钮和主体文本）。MVT工具将会开始生成数据（见图7.3），几乎是当即，但通常您并不会欢庆直到您在结果中看到95％或更高的统计显著性。
在使用Google Website Optimizer的情况下，您将密切地关注“Chance to Beat Org.”这一列。很明显，你的奖金会依靠于“Observed Improvement”列！
请注意一下图7.3中数据的丰富性，以及如何轻松地理解“结果”。这是MVT工具的关键优势之一，也是它更加容易使用（甚至对外行人也一样）的主要原因。
如同A / B测试的情况，准备迎接惊喜的结果吧：图7.4中展示的页面就是测试中的胜出者。
文字“分享和管理您的照片的简单方法”比“查找，整理和共享您的照片”更管用，并不是一个巨大的惊喜。然而，让我们感到惊讶的是，展示程序好处的图片一点都没有帮助我们提高转换率！此外，我自己也很惊讶，因为在我做过的大量测试中，简单的文字会比按钮更有效，尤其是与“Free”相关的单词，但在“Free Download”这种情况下，文字链接却没有与按钮“Try Picassa Now”一样的效果了。看吧，我们可能都搞错了。你是否曾觉得“Try”比“Free”更管用呢？
1） 常见的MVT技术
常用于执行多变量测试的两种技术是：全因子和部分因子（也称为分数因子）。使用全因子实验法，您可以对结果中可能出现的所有页面组合进行测试。例如，在上个测试中，您有四种变体 ——对所有的四个部分（图片，文字，按钮，原版）—— 因此您有了4*4*4*4 = 256种组合。使用部分因子实验法，您可以测试比较少的组合，然后推断出其他组合可能会出现的结果。
每种方法都拥有狂热的拥护者，他们并没有完全超越并打败对方。但是两者差异却很多，你使用哪种技术取决于你想做成什么。一个全因子测试擅长于在每个元素之间的交互中梳理出关键的数据，它能帮助你做出一个更加明智的决策。但是全因子是需要代价的：需要时间和足够的测试参与者（因为每种组合都需要足够的数据）。部分因子测试放弃了数据的丰富性，但是你可以更快速地获得结果。另外一种混合测试正在获得大家的认可; 在这种方法中，您可以使用部分因子来辨别最差的那些组合，过滤掉它们，然后对剩余的良好的组合执行全因子测试。两全其美！
每种技术都有其用武之地。这里有个例子：如果我想设计一个完美的可以逆转全球变暖的机器，我会使用全因子技术，但如果我只是设计一个能够修复大气中快速消失的臭氧层的方案，那么我将使用部分因子。夸张吧？是的。使用一个秘密消息进行编码，来教你如何做出正确的选择？我是这样认为的！
2） 多变量测试的优点
进行多变量测试会一天天地变得更加容易。你也可以随心所欲把事情变复杂，但你也可以非常简单地在一个页面上使用几行JavaScript标签就开启了测试。
几乎MVT的每个方面都是外包的; 也就是说，MVT使用了强大的“软件即服务（SAS）”模型。除了在您的网页添加标签，您并不需要您的IT团队。您可以使用MVT工具“远程地”启动，运行和停止测试，您也可以就此获得所有的分析结果。拜拜，IT！ （好吧，只是开个玩笑，我热爱我在IT的同行们。）
MVT收集到的数据数量直接转化为一种对您的访客偏好和您想法的价值的深刻的理解。所有这一切，反过来直接转化为一种更加优化的网站体验。
3） 多变量测试的缺点
MVT需要来自您公司的更多努力和更高程度的认同 —— 市场营销人员，分析师，IT人员和HiPPO。虽然收益是丰厚的，你在这个过程中也要投入大量的资源。
有了MVT，你的实验只会和你实施的想法一样好。你还需要为“倾听客户的声音”付出（参见第6章），你需要充分地了解你的网站需要为您的公司达到的目标。这比你能想象到的更加困难，也是为什么许多MVT尝试会失败的原因。
另一个与A / B测试类似的问题是，您正在对单个页面优化，但是您的网站体验不单单只是一个页面。从来到您的网站到最后购买期间涉及的网页数量可能为10个。修复仅仅一个页面只是成功的一部分，如果其他页面还是次优的，你仍然会失败。
A / B和多变量测试都是改进网站体验和吸引客户的一个关键部分。为正确的目的选择恰当的武器。另一种技术——可控制的实验——是测试理念的一种延伸。我将在本章稍后面再去讨论。
现在去进行你的第一个测试吧！
二 可行的测试思路
传统的想法认为，万事开头难。所以，既然你现在发现了A / B或MVT的能量能在你的公司发挥出来，我想分享一些具体的想法，你可以借此激发自己的灵感。这些思路来自于我在前线闯荡的岁月。
在我们继续之前，指明每个网站都是独一无二的是很重要的。适用于品牌x的东西可能并不适用于品牌y。这是因为每个公司往往都采取了不同的在线策略。然而另一方面，是具有健康的异交性的想法。在最近的一个成功创业中，我进行了一系列的实验以来优化一个非营利网站，其中大部分的想法来自电子商务领域！
底线：保持开放的心态。下面的章节包含了很多的测试想法，让你去用，有些很明显有用，大部分不是的。
1 修复最重要的失败页 – 着陆页
大多数人用按钮或不同的英雄图片开始了他们的测试。但是，如果您想立马获得巨大的效果，请从对热门的入口页面测试开始，也就是跳出率较高的页面。这些页面流量往来很重，他们也不难修复，并且你可以由此烧起胜利的第一把火。您可以通过查看流量来源，入口搜索关键字等等来着手解决这些问题。
如果您想获得最好的效果，请从营销活动的着陆页面，以及你的搜索、电邮和关联网页开始。您花费了成本来获得此流量，如果您修复了相关的网页，您将会降低该成本；因此您不必一直去购买更多的流量，您将通过更高的转化率增加收入，从而节省了资源。
2 专注于结帐，注册和订货提交页面
结帐，注册和订货提交页面都是网站的经典通道。人们进入一种结构化的体验中（页面1->点击->页面2-> 点击->页面3：完成），另一方面是通过转化，订货或注册帐户为您带来收益。重点关注这些页面，因为它们直接关系到效果和您的利润。
大多数的电子商务网站都拥有一个四页的结帐流程：购物车/结帐->用户信息->付款信息->订单检查->确认。某些公司只是两页：购物车/结帐->所有信息->确认。你的网站是哪一种呢？为什么不测试一下它？如果您是一家接受信用卡申请的银行或一个组织网上捐款的非营利机构，也同上。测试一下以找到最适合您的客户的流程。
3 优化广告的数量和布局
广告是众多网站的主要变现来源，似乎对广告的展示也不存在什么限制。盛行的策略似乎是在一个页面上放入尽可能多的广告。但“更多的广告=更多的点击=更多的收益”的假设貌似从来没有被测试过。
就在这个早上，我访问了一个重要的内容网站，其浏览器的折叠区置有九个广告单元！这样的广告不仅是无效的，而且他们造成了一种可怕的印象，使我很可能永远不会再回来。双重打击啊。
因此，请对网页上可以展示的广告数量进行测试。您可以使用一个简单的A / B测试或多变量测试。在一次令人难忘的测试中，客户实际上把网页上的广告数量减少了25％，结果提高了40％。我没有开玩笑，40％啊！猜一猜哪个版本会让客户更加愉悦？
让我给你分享几个与广告相关的想法：
- 如果一个标语占据了网页顶部30％的实际区域，请测试一下没有标语的版本，并看一看哪个版本带来的转化率更高。
- 尝试一下测试不同的广告布局。页面页头中的大多数广告一般位于右侧的方框中或另一个明显的位置。游客经常会无视。测试一下页面上的不同位置，您可能就减少了横幅盲区。
4 测试不同的价格和销售策略
彻底改进您的业务模式的一种办法是使用测试。这里是一个关于测试如何能够改变业务思维模式的真实故事。
一家公司仅仅售卖四种产品。但是市场变得艰难了，而且竞争对手很有竞争力。该公司要如何反击呢？公司的一些“聪明人”建议他们免费赠送目前最便宜的产品（15美元）。
CMO说，“想法太激进。”CEO说，“你是疯了吗？”首席财务官说：“绝不可能！
该提案确实有着一个根本的挑战：没有人会喜欢放弃收益。并且人们会担心：赠品如何会成功，它将会怎样影响到收益，以及为什么任何人都会购买一种版本。
没有去创建预测模型（基于错误的假设！）或者面临着HiPPO的压力而放弃，分析团队仅仅启动了一个A / B测试。他们通过执行95％的控制和5％版本A的测试（使用免费产品）来管理风险。
免费版本的产品“售出”了很多份。惊讶的是，免费版也以统计显著性的方式帮助改变了SKU的组合; 也就是说，免费产品的出现引起更多的人去购买更昂贵产品的行为。一起摇摆吧！另一个好处是，许多新客户被介绍给了特许经营商，因为他们“购买”了免费的版本。美妙吧。
这里还有一些额外的改变你的销售策略的建议：
- 客户会感觉到自己买到了便宜货，因此如果你打折扣的话，尝试下八五折而不是折去10美元。
- 也尝试一下 $25的回扣邮寄，而不是$ 7即时的回扣。你懂了吧。
5 测试下盒子的布局，DVD封面和线下的东西
假设一下您正要推出一个新产品或DVD。你想找出商店中最吸引顾客的布局。你可以请你的妈妈挑选她喜欢的版本。你也可以请你的公司去问几个人。或者，您可以启动一个在线测试，看一看您的网站访客评分最高的是哪一个版本。
如果你是沃尔玛的话，在你的商店里布置新产品是昂贵并且耗时的。这使得在你的商店中摆放“看上去可怕，但也许有奇怪吸引力”的斑马纹路的椅子变得很冒险。如果他们吓到人了呢？但您可以把他们添加到网站上，看一看是否会有用户来买。如果这些椅子得到了15个正面的客户评论，你就知道了你手上有一个制胜法宝。
通过在线上对线下产品测试的想法，您可以更快速地进行上新的过程，从而能够降低风险，并且你不需要依赖员工去挑选成功的和失败的产品。
6 优化您的对外营销工作
A / B和多变量测试并不局限于您的网站。测试最有效的用途之一是提高您的电邮，联营伙伴，展示和搜索营销工作的效率。你将会有无限的可能性从测试工作中获得最大的ROI。
对您的电子邮件营销而言，您可以对内容，份额，按钮或关联的着陆网页体验进行测试。您甚至可以通过对你的住宅邮件列表定位不同的地理位置或分组来进行简单的A / B测试。
对于您的联营伙伴，您可以在网页之间尝试不同的优惠模式，并在网站体验中加强成功的优惠模式。
许多搜索引擎营销工具比如ClickEquations（www.clickequations.com），可以让您对付费搜索广告进行多变量测试。您不必去猜测哪一种标题，份额和链接最有效。在搜索引擎上运行一个实时的多变量实验，然后让点击率和转化率帮助您来优化搜索营销活动。
我对本节可操作的测试思路寄予的希望是：当你在测试时，你能思考一些深远的东西。是的，您可以并且仍然应该去测试不同的步骤，按钮颜色和大小以及网页上的内容。但是在你完成几次测试之后，尝试一些更加重大和更加大胆的想法，因为它们往往会显示出测试和实验的真正价值和能量。
三 对照实验：加快你的分析过程！
根据独一无二的维基百科（http://en.wikipedia.org/wiki/Experiment）所载，对照实验“通常把从实验样本中获得的结果与对照样本进行比较，其实际上与实验样品是一致的，除了正在测试其效果的一个方面（自变量）。”
对照实验对现实世界中的各种各样的场景都是有效的，比如药物试验。在网络世界里，我也把这种方法当作是真正的朋友。这是因为我们经常会提出一些很难依靠那些可用的数据集予以证明的假设。我们不能干净利索地收集到所有数据。或者说我们不能控制所有的影响变量。
对照实验在这些情况下效果很好。目标是创建两个或更多的类似情形，改变期望的变量，然后衡量对结果的影响。然后尝试梳理出因果关系。
通过对照实验，您可以对那些在线工作中获得的经验教训进行彻底改进。我现在会用一个现实世界的例子来巩固这个概念。
1 衡量付费搜索对品牌关键字和批评的影响
以下是设置：您在www.google.com上拥有自己的品牌词汇（例如avinash或Pantene）的第一个自然搜索排名。对于购买付费搜索广告，您也听过了不同的意见。一些业内行家告诉你，您不应该购买搜索广告，但是您的朋友却说您应该在搜索引擎上最大限度地发挥其价值，并且为您的关键字使用AdWords，AdCenter或Yahoo! Search Marketing。
什么才是正确的答案呢？这很难说。您不能完全地依靠您的网站分析数据，完成一份清晰无误的报告，因为来自搜索引擎的关键数据丢失了—— 您获得了x次点击，但x是多少呢？你不能依靠你的朋友或“专家”。你可以凭借自己的直觉，但是话说回来了，为什么不进行对照实验呢？
图7.5显示了一些实际的数据。在这种情况下，该公司从其品牌词汇的自然搜索结果中得到了大量的流量，转化量也很高。
x轴表示时间（天），y轴表示转化量。在某些工作日和周末的转化中发生了正常的变动。为了了解付费搜索的价值，该公司创建了一个对照实验。在长达六个星期的阶段内，它在AdWords营销活动上面花费了不同的金额，如下图7.6所示。
注意下支出线上出现的山峰和山谷：不同水平的暴增的开支，支出水平完全低落的那些天，以及连续支出天数之间的差异。公司的战略是创建了一个实验，从而可以更加容易地衡量因果关系，同时考虑到那些可能引起数据变化的外部因素。
图7.7显示了营销活动对转化量的影响。较低的条形棒是自然搜索的转化量。上面的条形棒则是付费搜索营销活动带来的转化量！
您可以从数据中获得下面的关键信息：
•付费搜索转化量的上升和下降与付费搜索营销活动的开启和关闭是一致的。从而表示了付费搜索为公司的品牌营销增添的价值。
•在某一支出水平之后，从图7.7底部的第三个“凸起”开始，冲击被加倍了。结果高了得多，可能是因为在该支出水平广告的排名。
•当您比较对自然搜索的影响，由两条不相交的线表示的平均转化量（或比较图7.5和图7.7）时，您可以看到一些相似性。当投放付费搜索的广告时，有12％的利用率。也就是说，流量可能是通过自然的和对付费搜索结果的免费点击而来，并且花费了公司的钱。
•整体的转化量显著增加了，如图7.7顶部的第一条线所示。随着支出水平因天数或支出数量而变化，效果是清晰的。
•在这种情况下，分析师是一个衡量了多种目标的真正的忍者。在此实验中，目标1增加了71％，目标2增加了7％，目标3增加了31％，目标4没有变化。
因此，您会看到公司如何回答我们是否需要购买付费搜索的这个根本性问题，并且在付费搜索对哪些方面会有影响，哪些没有的问题上，它也变得更加明智了！
提示：比较平均转化量（正是无序列表中的第三项）是了解付费搜索和自然搜索占主导地位的一个重要策略。
在对照实验结束之后，公司决定花钱在AdWords营销活动中购买品牌词汇。借助对照实验，一个艰难的决定变得很容易了。这并不意味着你应该在品牌搜索词汇上花费。你应该利用这种技术为自己的案例找到正确的答案。
2 对照实验的例子
我听过的利用对照实验来改变利润的最酷的一个故事是来自我的朋友Jim Novo（Drilling Down：Turning Customer Data into Profits with a Spreadsheet的作者）。
吉姆做了一个实验：一家公司添加了一个小小的感谢礼物，并备注在客户的在线订单上面。假设是，这个小举动将会给客户带来积极的品牌印象，并会增加未来的销售额。吉姆进行了一个小型的对照实验，一些客户得到了感谢礼物，然后他比较了该组与对照组的结果。果不其然，来自测试礼品组的用户更多地带来了复购订单。
Zappos做了类似的事情：他们通过把客户升级到“特快运输”而“取悦”了客户，即使他们只支付了普通的运费。这个对照实验证明它增加了留存率和复购订单数（更不用说，这些使客户惊喜的故事会传播起来）。
在另一个例子中，一家大型美国零售商的企业营销人员希望通过使用在线广告来促进床垫的线下销售额。这似乎有着很大的推广空间。尽管一些消费者在网上参与了调查，但是受电视中广告（人们可以像婴儿一样舒服的睡觉）影响，床垫实际上是一种离线购买物品。不过，营销人员在四个地理位置不同的州（德克萨斯州，俄勒冈州，北卡罗来纳州和纽约）积极地投放在线广告，并且在广告营销后的接下来几周内去衡量实体店的销售额提升状况。借助这一策略，她把测试和对照组（州）对于商店销售的影响分离开来，并向公司证明了：在线的广告营销以离线营销成本的十分之一，实现了重大的百分比提升。
我的最后一个对照实验的例子来自于我自己的经验。问题很简单：广播电台营销是否有效地带动了制药公司的在线流量？该实验要在美国100个城市中不同类型的电台（例如，流行，国家，交谈广播等）中投放广播广告。由此产生的数据，即使只去研究地图叠加报告中的访问量，也足以让商家认识到广告的有效性。商家可以根据市场（城市），广播电台和电台类型来细分数据，以便了解营销活动在什么情况最有效，以及哪些情况会毫无效果。
想象一下，试着仅仅根据您的网站分析数据做出那种决策。
3 挑战和优势
实施对照实验并不容易。它需要资源，来自您公司的高度承诺，创建巧妙的实验，以及在线和离线团队、分析师和营销人员之间的复杂协作。但所有的努力都是值得的。通过对照实验，您可以发现以下优势：
• 您可以回答那些能引发深刻洞察的基本业务问题。
• 您可以了解跨渠道在线营销和多渠道营销的效果。
• 您可以调整营销策略以适应特定的客户类型，偏好和位置信息。
• 您可以衡量一些重大事情（如品牌营销）的影响。
• 让您的分析师了解最先进的分析方法，他们会变得更加明智。
底线：你可以信心十足地去支配宝贵的营销和广告资金。哦，这真的很有趣！
四 创建和培养一种测试文化
创建一种测试文化可能比听起来要难得多。这是因为你会失败很多次，尤其当你的测试想法不够大胆或者不是源自真实的客户痛点。在不同的时机，您需要邀请HiPPO，营销人员，设计师，研究人员和分析师。
这里有九个建议，将帮助您在公司里创建然后培养一种实验和测试的文化。
Tip 1：您的第一个测试是“非成功即死”
在第一天没有战斗或爱情会成功，但我不会再强调你的第一个测试有多么重要了。你会读这本书，你会向你的管理层展示几张关于测试的好处的幻灯片，你会准备一个说唱的歌，然后他们会信服。重要的是你充分利用了这个机会。
制作你的第一个A / B测试吧。它会从想法、执行和衡量的角度来让事情保持简单，所而所有这些都是展示价值和使人们达成协议的关键。
当我们做测试时，我们经常错误地去选择一个不相关的页面或部分来降低风险。例如，我们改变一个按钮中的蓝色阴影。因为这些无用的选择，我们扼杀掉了任何能够展示效果的机会：这些页面将不会有足够的页面浏览量，对结果的影响可以忽略不计。选择一个“足够大”的页面（即使不一定是主页），并为对照组创建大胆的可选条件。
A和B版本的页面应该是尽你所能的差异化（见图7.1）。版本之间的巨大差异意味着转化量和结果的巨大差别，这就意味着更快的结果和更大的成功或失败。
你的第一个测试将会使你的公司感到兴奋（即使你遭遇惨败），并会证明测试是一种有价值的技术。不要把这个机会浪费在尝试微小的事情上。请记住，您始终可以管理风险，通过决定有多少人能够看到测试页面。如果您的产品页面目前是一束鲜花的图片，而测试版本的图片有一个裸男，那么您仅仅把10％的流量送到测试页面，并且向对照组送去90％。你降低了风险，而且你收集到了数据，它们将会证明裸男图片会和花的图片一样，能够售卖无线路由器！
Tip 2：不要太关注工具/顾问的宣传
公司往往会太关注于工具/顾问的宣传。“你可以测试1300万种页面组合，”或“我们的解决方案使用人工智能实现了自动优化，它的花费极少。”你明白我的意思吧。只是刚开始。不要浪费数月去评估工具和观看供应商和顾问的大型展示秀。
在Web Analytics 2.0的世界里，您可以立即开始使用免费的工具例如Google Website Optimizer。如果你很了解Omniture，那么你可能能够免费试试三个月的Test＆Target。那么，为什么要评估呢？为什么不是“放手去做吧”？当你开始免费使用时，做几个简单的A / B测试来证明其价值; 你并不需要选择完美的那个工具或完美的顾问。积累经验，变聪明点，然后去评估那些选择。
Tip 3：“坦诚以待” – 克服自己
如果你需要说服别人相信对想法的测试和验证应该是一种生活方式，那么你必须首先说服你自己。你需要克服自己根深蒂固的看法。
当我谈起测试时，我把自己作为一个案例，分享了最近的几次证实自己错的很离谱的测试。我分享了最糟糕的故事 — 输的最惨 — 表明我们并不能真正代表客户，验证想法才是最棒的。
记住，如果你愿意“坦诚以待”，你会获得能够包容的观众并且思路会变得更快。
Tip 4：从一个假设开始
我们通常会从“我想测试主页的不同颜色”或者“我们应该用文本替换这个图像”开始。注意一下缺少了什么？任意一点点的意图。黄金法则是，始终从一个假设开始，而不是测试细节或测试场景。问一问你的客户：“你的假设是什么？
这个问题迫使人们退后一步再思考。他们可能会回来回答你，“我的假设是，人们的图片会比当前的摄像盒具有更加紧密的联系，因此我们将得到更高的参与度。”或者他们可能会说，“我的假设是，网站的访客对用户生成的内容比对公司本身的宣传更加感兴趣。
你已经完成了两个重要的事情：首先，你现在能够贡献于创建测试的过程，其次，你已经使用巧妙设计的假设来建立了一个清晰的对成功的衡量方法。记住，如果你在假设中没有看到成功的衡量方法，那么这个假设就不是妥善的。
Tip 5：制定目标的评估标准和前期决策
我们经常犯的错误是知道成功的指标，但却没有创建参数来判断胜利。在测试启动前选择成功的指标，并记得为这些指标创建目标。因此，您将开始一个以实现提高转化率的测试了。很棒。你需要根据你想提高多少的转化率来建立。
我们通常没有提前准备这些措施，但这些前期的决策是至关重要的，有下面两个原因：
• 您是被迫的去研究“成功”指标的当前趋势，并为您的测试完成“目标创建”的练习。
• 你可以首先判断你是否应该做这个测试。如果在你首页上的跳舞猴子们，只能把转化率提高0.001％（你的目标），那么这个测试可能是不值得的，你应该考虑一些更加有效的事情。
记住，你正在努力打破思维局限，并且创建测试，以便在客户体验方面产生更显著的改善。
Tip 6：测试和测量多重结果
多重结果的测试是重要的，一旦你计划了一大堆的测试。
几乎所有的测试都重点关注一个单一的目标。但生活和客户体验其实是更加复杂的; 访客会出于多种目的来访问您的网站。如果您使用当前的多变量测试工具，那么您需要把那些可以衡量测试对所有其它目的的影响的工具集成起来。
例如，访问者来到您的主页是为了购买，为了打印产品信息等等。如果您只为解决转化率，那么您所做的任何改变都可能为您的客户带来负面影响。
将测试工具与网站分析工具集成是衡量多种目标的一个良好开端。您可以衡量你在测试工具中设置的目标，并且可以在分析工具中对测试参与者细分。然后，您也可以衡量其他目标（跳出率，忠诚度，下载量等）。您还可以把调查工具与测试工具集成，并细分客户满意度或任务完成率。
从长远来看，通过接触一个真正的多目标衡量模型，您将会把从测试项目中学到的经验教训转化为一种可持续的竞争优势。
Tip 7：在客户痛点中发掘你的测试
你是否还记得第6章在“迄今三个最重大的问题”中的最后一个问题？就是“如果你不能够完成你的任务，为什么呢？
这是你的测试想法最大的来源。通过调查，可用性测试，卡片排序，甚至网站覆盖热点图，客户会告诉你他们在您的网站上遇到的问题。捡起那块金子，把它变成你可以测试的解决方案。
通常我们的测试会产生不太理想的结果，是因为我们试图在解决我们认为访客会具有的痛点。我们从自己的经验和偏见中获取来源。改变一下思维。在客户痛点中发掘您的测试想法，您将会成功，因为您正在解决真正的客户面临的挑战。
找一找客户在网站上面临的挑战。从您的呼叫中心去寻找他们。在市场研究中寻求他们。从老客户那里寻找。解决一个实际的客户问题，那么就是一石二鸟的结果。高兴的客户意味着升高的网站ROI。
Tip 8：分析数据和交流心得
你需要为失败庆祝，并从中学习。你必须确保你的同行和HiPPO也从中学到了。
对于你做的每一个测试，即使是壮烈的失败，去分析数据，并且交流心得。公司会从了解到什么是有效的而改进，但他们会从有问题的地方获得更多。
交流你宝贵的经验教训将会确保您的公司和同仁不会轻视失败; 相反地，他们会尝试一些更大，更冒险的想法。并且他们不会重复这些已经产生结果的测试。
你不只是是传递数据; 你在试着改变一种文化。
Tip 9：两个必备：传道音和专家
在任何成功的项目中，你需要两个关键人物，一个测试传道者和一个测试专家。这对你扩展测试是非常重要的，尤其对于一家大公司而言。
大多数人还没有明白测试的道理，所以为了他们，你需要一个传道人 — 不仅仅是一个“明白它”的人，而且是能够通过他们的沟通能力，纯粹的爱，业务理解和位置宣扬价值主张的人。如果这个人不知道r的平方是什么，那没关系。这并不是一个全职的职位，但它需要投入全职的热情。
当你大规模地运行你的程序，并实际实施这些技术时，你需要一个测试专家。你需要一个人钻研这些指标，他需要具有足够的业务专长，可以查看测试然后提供良好的反馈 — 甚至能够帮助想出伟大的增值创意。
我最后一个建议是，你应该享受乐趣。测试是难以置信的快乐。您正在应对复杂的挑战，并且帮助您的公司提出了创造性的想法来解决这些挑战。与同伴交流是很有趣的。通过把客户放入测试中并观察结果，与他们一起玩耍是很有趣的。通过提高公司的底线，然后增加他们的和你的幸福感是一种乐趣。玩的开心。
