来自:https://zhuanlan.zhihu.com/p/385157842
概述
首先,通过特定的生命周期来定义和调整指标。
通过输入指标和输出指标的关系,来对输入指标进行调整,最终达到输入指标直接影响输入指标。
其次,通过每周业务复盘机制(Weekly Business Review,简称 WBR)对指标进行展示和解读。
亚马逊监控输入指标和输出指标的过程是非常严格的,通过WBR来展示和解读数据。在WBR上,输入指标和输出指标都会呈现给公司领导层,并且每周按照同样的格式、同样的顺序、同样的符号等,以便让领导层能够聚焦于数据。
当然最高层有一个高层关注的输入指标和输出指标,每个部门或者运营团队有其部门应该关注的输入指标和输出指标。
可控制的输入指标与输出指标
输出指标(OUTPUT METRICS):设定与监控目标
衡量业务的结果,类似于结果指标。事实上,所有的财务报表都带有输出指标,它非常适合衡量业务现状,并通过此来推导业务能达到的目标指标,然而输出指标不帮我们衡量日常。举个例子:500万的收入额、50万的利润额等
输入指标(INPUT METRICS):衡量努力的行为
输入指标衡量的是我们为了达成输出指标付出的行为,是我们可以控制的内容,是改变输出指标的好办法。举个例子:每周营销电话数、每周发博客数量。
驱动因素(Drivers):如何决定关注什么
顾名思义,驱动因素直接或者间接影响了其他指标。在判断和决定我们需要聚焦在哪些方面的过程中,能够识别出驱动因素是非常重要的。当我们制定了目标,我们需要识别它的驱动因素,并拆解到最小可操作行为。只有这样,我们才能够拆解到最小的可行行为去实现更大的目标。
举个场景1:
我们给自己制定了每天打50个营销电话的目标(可控制的输入指标),这个指标实现与否完全在于自己(可控)。
每天完成5笔电话订单销售(输出指标),这个指标取决于更多:拨打电话数、接听电话率、购买转化率等。
举个场景2:目标(output metrics):增加50万利润
驱动因素1:收入方面,以30%利润率计算,我们需要大约160万的新收入
驱动因素2:按照每个客户的收益(每个客户5000收入),我们需要32个新客户
驱动因素3:按照销售电话1/5的成功率,我们需要拨打160次电话(input mertics)
驱动因素4:按照网络访问1%的转化率, 我们需要16,000次用户访问,需要投入XXX资金(input mertics)进行用户营销
为什么“可控制的输入指标”如此重要?
股价是亚马逊所说的“输出指标”,CEO和整个公司没有能力直接控制输出指标。真正需要关注的是“可控制的输入指标”,即可以直接控制的行为,它们直接影响了股价等输出指标。
当你在观测一个可控制的输入指标,你很清楚地知道可以改进的地方是哪里。例如股价、NPS分等输出指标波动,你知道应该做什么去提高这些输出指标。
亚马逊的领导层都对输出指标了然于心,但是他们会放更多的注意力在可控制的输入指标上。
亚马逊的指标生命周期:
亚马逊通过DMAIC的流程来改进和优化指标体系-DMAIC:
定义(Define)
测量(Measure)
分析(Analyze)
改善(Improve)
控制(Control)
定义(Define):
确定正确、可控的输入指标
WBR 中提出的几乎每个指标都属于著名的亚马逊飞轮的要素之一:
这是贝佐斯在 2001 年在餐巾纸上绘制的图表,其灵感来自于吉姆柯林的书“从优秀到卓越”中的飞轮概念。Bryar和Carr 指出,飞轮是如此重要,以至于它出现在领导层 WBR 指标体系中。飞轮为亚马逊在其零售业务中衡量的每个指标设置了上下文。亚马逊做的第一件事是弄清楚正确的、可控的输入指标集是什么。这是一个棘手、需要反复试验和试错过程。
举个例子当我们开始从书籍扩展到其他类别时,我们在亚马逊犯的一个错误是选择了制定的输入指标是围绕用户选择这个方面,即亚马逊提供的商品数量。每个项目都在“详细信息页面”上进行描述,其中包括项目描述、图像、客户评论、可用性(例如,24 小时内发货)、价格以及“购买”框或按钮。
我们最初制定的指标之一是创建的新详细信息页面的数量,假设更多页面意味着更好的选择。一旦我们确定了这个指标,它就会立即对零售团队的行动产生影响。他们过度专注于添加新的详细信息页面——每个团队都在他们的类别中添加了数十、数百甚至数千个以前在亚马逊上没有的商品。我们很快就看到详细页面数量的增加,虽然似乎提供了更多的选择,但并没有导致销售量(输出指标)的增加。分析表明,团队在追求商品数量增加的同时,有时会上架需求量不大的产品。
然后你发现——你定义了一个输入指标,你的公司正在针对错误的指标进行优化。但具有启发意义的是亚马逊会通过输入指标对输出指标的自然影响来纠正这一点:当我们意识到团队选择了错误的输入指标时——这是通过 WBR 流程揭示的——我们更改了指标以反映消费者的需求。
在多次 WBR 会议上,我们问自己,“如果我们努力改变目前定义的这个指标,它会产生预期的输出吗?”随着我们收集更多数据并观察业务,这些输入指标随着时间的推移进行了多次迭代- 详情信息页面数量- 详细信息页面查看次数(如果客户不查看新的详细信息页面,您将不会获得功劳)- 产品有库存的详细信息页面浏览量的百分比(如果您添加产品但无法保持库存,则不会获得信用)- 产品有库存并立即准备好进行两天发货的详细信息页面浏览量的百分比,这最终被称为“快速入库”。
Bryar 和 Carr 很快说,这个过程在亚马逊的所有指标中重复——你记住一个输出指标,然后你通过反复试验来改进你的输入指标,直到你得到正确的、可控的输入指标。
从本质上讲,这个测试和辩论的过程就是亚马逊如何绕过古德哈特定律!我认为这确实是一个很酷的主意。
备注:古德哈特定律:一项指标一旦成为政策制定的依据,便立刻不再有效。政策制定者会牺牲其他方面来强化这个指标,使得这个指标不再具有指示整体情况的作用
要获得正确的可控输入指标集,您必须进行测试和辩论——并期望对两者进行多次迭代!这个过程发生在亚马逊使用的每个输入指标上。仅仅迭代要使用的正确输入指标就需要数百个工时。
测量(Measure)
测量阶段是你必须设置数据监控的过程,这个阶段你要部署系统来监控你选择的指标。Bryar和Car提出了三个要点:
1)消除指标中的偏差是重要且必要的。亚马逊授权财务部门监控这个数据的真实性,这么做的目的是为了防止业务部门为了使自己的业务看起来很好,而选择有偏差的指标或者修改指标数据。
2)制定计划审计指标。亚马逊要求指标制定者要定期审核指标,保证指标衡量的是该指标应该衡量的内容。这里有一个假设是:随着时间的推移,某些事情会导致指标发生变化,因此指标数据也会出现偏差。
3)花点时间和精力来衡量你的业务。他们以亚马逊的“库存”指标为例。“有货”听起来很容易衡量 — 直到您意识到有许多可能的方法可以衡量商品是否“有货”。
所以你会怎么做?如果你退后一步,你真正想用这个指标回答的问题是“我的产品中有多少百分比可以立即购买和发货?”您可以通过几种方式来衡量它。作者只给出了两个:
您每天晚上 11 点对目录进行快照,确定哪些商品有库存,然后通过跟踪 30 天的销售额对每个商品进行加权。
每次用户访问亚马逊产品页面时,app 都会增加“被浏览的产品页面总数”,如果有库存的产品可用,app 会增加“被浏览的且有库存的产品页面总数”。在一天结束时,您将“被浏览的且有库存的产品页面总数”除以“被浏览的产品页面总数”,以获得当天的整体库存指标。
作者认为第二个指标更好,因为它代表了客户的体验。因此,即使实现成本更高(您必须让工程师编写代码、进行计算并将事件通过管道传输到数据仓库!),您也应该咬紧牙关进行改造,因为它更准确反映了企业可以控制的输入指标。
分析(Analyze)
这是指标生命周期的阶段,您可以全面了解指标背后的潜在驱动因素。作者说,亚马逊内部对此有许多不同的标签,包括“减少差异”、“使过程可预测”和“使过程得到控制”等。AWS 的高级副总裁 Charlie Bell 有一句名言:“当你遇到问题时,你在最初的 24 小时内真正查看问题的实际根本原因的可能性非常接近于零,因为事实证明每个问题的背后都有一个非常有趣的故事。”对于您定义的每个新指标,都会有一段时间您必须深入了解该指标的工作原理他的意思是,通常,如果您观察到一个行为异常的指标,则需要花一些时间才能弄清楚是什么驱动了这种行为。
像丰田一样,亚马逊使用“五个为什么”方法来找出异常的根源(他们称之为“错误纠正”过程,COE 过程的结果是一份描述相关异常真正根本原因的文档)。
但是这一步背后的想法更重要——Bryar 和 Carr 的意思是,对于你定义的每一个新指标,都会有一段时间你必须深入了解指标的工作原理,根本原因是什么是,自然差异是什么样的,等等。这使您能够进入下一阶段,即:
改善(Improve)
一旦您对您的流程和指标有了深入的了解,您就终于准备好开始改进所述流程了。例如,如果您的库存指标是 95%,您可能会问“需要什么才能将其提高到 97%?”。
在“定义、测量和分析”之后进行改进的原因是现在,您将在扎实的理解基础上进行更改。亚马逊的一些部门试图在没有完整定义、测量和分析循环的情况下改进他们的流程。这几乎总是导致大量的混乱,几乎没有有意义的结果。
作者指出,如果随着时间的推移改进流程,以前有用的指标可能会停止产生有用的信息。在这种情况下,完全可以从仪表板中删除它。
控制(Control)
最后一步旨在确保流程正常运行,并且表现不会随时间推移而下降。随着对业务驱动因素的了解加深,WBR 通常会变成不定期会议,而不是讨论每个指标的定期会议。
在控制阶段发生的另一件事是操作员可能能够识别可能完全自动化的过程。毕竟,如果一个流程被很好地理解并且决策是可预测的,那么整个流程很可能会被软件取代。
亚马逊WBR
每周业务复盘机制(Weekly Business Review,简称WBR)对指标进行展示和解读。
统一的指标可视化方案:
统一格式、统一颜色、统一顺序、统一指标维度等等,聚焦于数据,更容易发现波动与趋势,会让WEB更加高效。
关注差异,忽略预期:
WBR 时间很宝贵。如果事情在预期的范围内,企业主会说“这里没什么可看的”并继续前进。会议的目标是讨论例外情况以及正在采取的措施。
业务部门为指标数据负责,并需要解释数据波动:
虽然亚马逊的财务团队负责认证结果,但每个指标的呈现完全是相关部门的责任。每个部门应该从里到外了解他们的指标;当他们参加 WBR 时,他们应该有一个解释(或至少是初步调查的结果!)来解释异常。如果他们不知道异常的原因,他们应该说“我不知道,我们仍在分析数据,我们会回复你。” 猜测或编造事情也会自食恶果。
运营和战略讨论是分开的:
WBR 时间很宝贵。这是一次战术作战会议,而不是战略会议。会议期间不允许出现新策略、产品更新和即将发布的产品。
不让员工有太重的心理负担(尽管他们也不擅长):
成功需要一个环境,让人们在谈论他们所在地区的问题时不会感到害怕。作者承认亚马逊并不总是擅长创造一个安全的环境来承认错误,但他们正在努力改进。
指标到指标的过度交互操作简单:
WBR 时间是宝贵的。同一个房间里的高管和企业主人数众多,这使得顶级 WBR 亚马逊成为最昂贵和最有影响力的会议。这意味着从指标平台的一个区域到另一个区域的过渡应该尽可能无缝亚马逊在一个图表上。
显示每周和每月的指标:
如上所述,亚马逊显示追踪 6 周和追踪 12 个月。呈现这样的指标的最终结果是图表看起来像是相同数据的“放大”版本。以这张图为例:
灰线为上年,黑线为当年
左图,前 6 个数据点,显示了过去的 6 周
右图有 12 个数据点,按月显示整个尾随年份
这种内置的“缩放”通过放大最近的数据来增加清晰度,12 个月的图表将这些数据放入上下文中。
关注年度趋势。
看看下图,取自月度业务回顾
该图表将实际月收入与计划收入和上一年收入进行比较。该图表似乎您正在按照计划逐年增长……直到您将 YOY 增长率添加到辅助 Y 轴:
如果没有 YOY 虚线,您可能不会注意到当前和预计的年份趋势在第一张图上缓慢收敛。然而,加上增加的 YOY 增长率,你可以很容易地看到,自 1 月份以来,YOY 增长已经放缓了 67%,没有趋于平缓的迹象。在这种特殊情况下,业务看起来很健康,但麻烦就在眼前。
输出指标显示结果,输入指标提供指导。
上图是输出指标的一个示例。它很好地提醒人们,输出指标是不可操作的——例如,仅仅知道 YOY 增长已经放缓是不够的;您还想知道哪些因素导致了减速。Bryar 和 Carr 指出,如果输出指标与“新客户”、“新客户收入”和“现有客户收入”等输入指标放在一起,您将能够更早地检测到信号,并发出更清晰的指令。
并非每个图表/图形都与目标进行比较。
并不是每个图表都必须包含目标——例如,Android 与 iOS 移动用户的百分比不是基于目标的指标,因此目标可能会被排除在可视化之外。