推荐系统之必备要素-ABtest框架

科学系统的业务优化体现在有数据支撑的正向循环上：聚焦关注北极星指标，不断向下挖掘--通过挖掘数据发现问题或隐藏机会点--寻找方案进行迭代--关注数据表现来验证方案合理性--......。

当通过ABtest进行优化方案验证的过程中，几个关注要点：

• P-Value：表示某事件发生的概率，很重要
• 假设检验：t检验、z检验、卡方检验、F检验
• ci：置信区间，confidence interval

ABtest实验管理平台

以下仅作为笔记用来自己备忘，详细内容请看大佬们的博客

• 实验报告
  • 过滤脏数据
  • 效果要平滑
  • 波动有警告
• 分流分层策略：流量最大化利用
  • Random
  • Partition By User
  • Partition By Category
    • 幂等-均匀化-并行-互斥
      • 正交：每一个独立实验为一层，每次穿越一层，流量再次打散
      • 互斥：每一层拆分流量，流量不重叠

 

 

• 测试要点
  • 候选策略+预测模型作为最小考察单元
  • 配置流量切分
  • 重视抽样误差
  • 关注时间周期效应
• 流程

1. 1. 随机分组：A控制组（与线上一致） B测试组
   2. 收集相关数据
   3. 分析