《AB实验：科学归因与增长的利器》知识点

中心极限定理非常重要，它意味着即使原始数据分布不是正态的，从中抽取样本后，样本均值的分布也是正态的。这样我们就可以用均值的正态分布来估计置信区间，进而可以进行参数检验（如t检验等），来评估两个样本均值之间是否存在差异。

式中α是显著性水平，那么置信水平就是1-α，zα/2是标准整态概率分布上侧面积为a/2时的Z值。
https://weread.qq.com/web/reader/0cf32300813ab6eafg0191afk6ea321b021d6ea9ab1ba605

上面两个例子在进行假设检验的过程中有一个共同的关键点——关于小概率事件的界定。究竟多小的概率算小概率事件，这主要取决于实际的业务场景，可以理解为能容忍犯第一类错误的概率。第一类错误的含义是虽然H0假设成立，但是拒绝了H0假设的概率（详见3.4.3节），也是通常所说的显著性水平。

如果犯错误的概率只接受低于0.1%，这时拒绝H0犯错误的概率为0.46%，还不能做出拒绝H0的决策。怎么办呢？我们可以让小明继续扔一次骰子，如果观察到此时仍然是6点，那么这件事情发生的概率就是1/6×1/6×1/6×1/6≈0.077%，低于显著性水平0.1%，这个时候就可以在显著性水平为0.1%下做出决策——小明作弊了。

一般来说，常见的显著性水平设置为5%，即如果一个发生概率低于5%的事情发生了，就拒绝原假设H0。如果希望降低犯错误的概率，就要把显著性水平设置得更低一些。

从直观上来讲，如果Δt非常小，接近于0，那么几乎可以认为原假设H0为真。如果Δt非常大，就有理由拒绝原假设。现在的问题是，Δt究竟需要多大，才足够认为A、B两组有差异；需要多小，才足够认为A、B两组没有差异呢？

一般很难发生的事情发生了，可以推论大概率原假设H0不成立。

显著性水平α和P值是假设检验中关键的两个概念。显著性水平α是人为定义的用于判断是否为小概率事件的阈值，如果低于该阈值，则认为是小概率事件，也是可以接受判断发生错误的概率。P值是小概率事件发生的实际概率，如果P值<显著性水平，则认为小概率事件发生了，拒绝原假设H0。

以产品新策略对产品人均时长是否有影响的实验为例：拒绝H0，接受H1，就是认为备择假设H1：tA≠tB成立，即实验组A和对照组B的指标有显著差异，新策略有显著效果。

P值的取值范围是[0,1]，一般来说，P值越小越能反映A、B之间是有差异的。当P值比显著性水平大时，却不可以说A、B没有差异，即不能得出任何结论。

在AB实验中，原假设H0一般都是假设实验组和对照组无差异，也就是实验没有效果。第一类错误是H0为真但是被拒绝了，即虽然实验没有效果，但是被判断为有效果。第二类错误是H0为假但是接受了，即虽然实验有效果，但是被判断为无效果。一般来说，第一类错误的危害更大，要重点控制发生的概率。

名词	说明
显著性水平（有显著差异的水平）	显著性水平α是人为定义的用于判断是否为小概率事件的阈值，如果低于该阈值，则认为是小概率事件
一般很难发生的事情发生了，可以推论大概率原假设H0不成立。
置信区间是在置信水平（比如：95%）下建立的。