第48件事 5步评估改版后的效果

最近在网上看到一个段子，说的是产品经理有三宝：山寨、改版、再推倒。每次做产品的版本规划，其实都是为了改版，改版的目的是提升各项指标数据，但是产品经理经常会遭遇研发团队、UED、运营团队的责难。按照产品经理的需求改版之后，到底有没有效果？效果显不显著？拿什么来证明改版的效果是显著的？这些问题的分歧经常导致团队成员之间的矛盾冲突。好几次面对研发和运营团队同事咄咄逼人的质问，心中难免不爽，但是又拿不出有力的证据来证明，只能向高手请教了。
如何评估改版后有没有效果，效果显不显著？最有利的证明就是运营数据。在很多数据驱动的团队，经常是拿数据说话，评估改版后的效果也是以数据为依据的。不过，需要引起注意的是，数据本身也是存在谎言的，需要我们用科学的数据分析方法进行验证，确保其准确性。

1.确定关键数据指标
评估改版效果的第一步就是确定关键数据指标。不同的产品，关键数据指标可能会不一样。
比如电商产品，其收入公式如下：收入=访问者数量×转化率×客单价。不难看出，访问者数量、转化率和客单价是最重要的三个数据指标。
而对于游戏型产品来说，收入公式如下：收入=用户活跃数×付费率×ARPPU。其中：付费率：是指付费用户的比例；ARPPU：是指平均每个付费用户的收入。不难看出，用户活跃数、付费率和ARPPU是最重要的三个指标。对于媒体型产品来说，可能PV和UV是关键数据指标。对于社区型产品来说，可能活跃度和留存率是关键数据指标。
我们以手游产品迭代改版为例，评估改版效果最关键的三个数据是用户活跃数、付费率和ARPPU。我们以手游产品的月收入为例，月收入=月用户活跃数×月付费率×月ARPPU，其中月活跃用户数是数值型数据，月付费率是比率型数据，月ARPPU是数值型数据，数据类型不同，分析和检验的方法也会不同。

2.假设检验
假设检验（Hypothesis Testing）又称显著性检验（Significance Testing），是数理统计学中根据一定假设条件由样本推断总体的一种方法。其基本原理是先对总体的特征作出某种假设，然后通过抽样研究的统计推理，对此假设应该被拒绝还是接受作出推断。既然以假设为前提，那么在进行检验前需要提出相应的假设：
(1).H0：原假设或零假设（null hypothesis），即需要去验证的假设；一般首先认定原假设是正确的，然后根据显著性水平选择是接受还是拒绝原假设。
(2).H1：备择假设（alternative hypothesis），一般是原假设的否命题；当原假设被拒绝时，默认接受备择假设。
如原假设是假设总体均值μ=μ0，则备择假设为总体均值μ≠μ0，检验的过程就是计算相应的统计量和显著性概率，来验证原假设应该被接受还是被拒绝。常见的假设检验主要有卡方检验和T检验。

3.卡方检验
卡方检验（chi-square test），也就是x2检验，用来验证两个总体间某个比率之间是否存在显著性差异。也就是说卡方检验适用于比率型的数据，即月付费率。假设在一定的时间区间内，比如说改版前后各30天，取30天数据的均值，改版前月活跃用户数是10000，月付费用户数是1000，月付费率为：r1=1000/10000=10%。改版后月活跃用户数是20000，月付费用户数是3000，月付费率为：r2=3000/20000=15%。我们先进行假设，H0：r1=r2，改版前后月付费率相等。H1：r1≠r2，改版前后月付费率不相等。
将（10000，1000）和（20000，3000）两组数据分别输入一个卡方检验模板，得出的结果如图7-8所示。

注意上图中总访问数等同于月活跃用户数，转化访问数等同于月付费用户数，转化率等同于月付费率。结论就是改版前后的月付费率在95%的置信水平上存在显著性差异，说明改版后月付费率效果显著。

4.T检验
T检验（T Test）是最常见的一种假设检验类型，主要验证总体均值间是否存在显著性差异。T检验属于参数假设检验，所以它适用的范围是数值型的数据。T检验还需要符合一个条件：总体符合正态分布。
T检验适用于手游产品的月活跃用户数和月ARPPU。这里就以月ARPPU为例。假设以一定的时间区间为界限，比如说改版前后各10天，改版前月ARPPU的10天数据分别是23.6、28.9、24.1、21.7、27.4、28.6、29、24.2、26.3、22.1；改版后月ARPPU的10天数据分别是29.1、24.4、30.9、28.8、25.3、29.8、26、30.2、31.7、27.6。将数据输入Excel，使用Excel的数据分析工具，选择“t检验：平均值的成对二样本分析”，输出检验结果：单尾P值=0.014901。由于0.014901<0.05，即单尾P值<0.05，存在显著性差异，所以改版后月ARPPU效果显著。

5.总体结果评估
总体结果评估会存在3种结果，我们以手游产品的月收入三个关键指标为例。月收入=月用户活跃数×月付费率×月ARPPU。
所以3种结果如下：
(1).月用户活跃数改版后效果显著，月付费率改版后效果显著，月ARPPU改版后效果显著，故总体改版效果显著。
(2).月用户活跃数改版后效果不显著，月付费率改版后效果不显著，月ARPPU改版后效果不显著，故总体改版效果不显著。
(3).月用户活跃数、月付费率、月ARPPU这3个指标中只要存在一个或两个指标不显著，剩余指标显著，这时应依据月收入的增加或减少来评估结果，如果改版后总体月收入增加，则改版效果显著；如果改版后总体月收入减少，则改版效果不显著。
这下心里有底了，以后跟研发和运营团队争执或者矛盾冲突的时候，就可以拿数据作为证据。事实胜于雄辩，有理有据，自己也有底气多了。

平时工作中，经常会用到卡方检验（适用于比率型数据）和T检验（适用于数值型数据）去检验产品的关键数据指标改版效果是否显著。当所有数据指标改版后效果都显著时，整体改版效果为显著；当所有数据指标改版后效果都不显著时，整体改版效果为不显著；当有的指标显著，有的指标不显著时，看总体效果而定。