计算广告(8)-------AUC和COPC, 线上指标和线下指标各种问题
一 AUC
表示正样本排在负样本前的排序能力
AUC主要评估的是模型对于整体样本的排序能力，例如AUC为0.9，样本中有p条正样本，n条负样本，两两组合又p*n种组合方案，那么auc=0.9代表着p*n组正负样本组合中有90%的组合其P(正)>P(负)的。
二 copc = (real cvr) / pcvr
copc指标主要用于评估某段细分的流量模型预估值是否偏差较大
三 问题
问: AUC上升CTR一定上升么 :
如果你发现auc上升，点击率却不上升，请优先排查bug。在确定没有bug的情况下，再看下文吧。
问：指标上不去，rank 加特征能够提升吗？
考察带条件的 copc。
分析办法：把 rank 分数分成若干区间，每个区间统计真实的 ctr，更*一步，可以拆分成多个桶，比如按照某个特征拆分成 A，B 两组，单独统计每组的真实 ctr
- rank 分数单调递增，ctr 没有单调递增：这个原因多半是你线上线下分布不一致导致的，道理很简单，如果你的 rank 真的拟合好了分布，没理由高分数区间段的 ctr 会低于低分数区间。这个不一致，有可能是你特征没做好线上线下的统一，也有可能是你模型没拟合好线上的分布。总之这种情况，你先别急着加特征，先把线上线下特征梳理一下，看看分布是否一致，或者模型训练是不是有问题。
- rank 分数单调递增，ctr 单调递增，但是增长非常慢:
比如说 0.9-1.0 区间的 ctr 仅仅比 0.3-0.4 区间的 ctr 高一丁点。这个原因才是你模型缺特征，尤其是缺乏活跃用户的特征，通常活跃用户，系统 rank 为了指标，会使用很重的行为画像作为特征，很容易放大历史点击记录，更加倾向于把他们排上去，如果你高估了该用户的点击倾向，就会导致分数给的很高，但是现实用户不怎么点的现象
这个也会触发新的问题，也就是常说的离线 AUC 很高，但是线上没效果，道理都一样，你模型仅仅是把正负样本的间隔拉开了，并没有真正改善用户看到的内容和布局，才导致高分段 ctr 不见增长。
- rank 分数单调递增，ctr 也单调递增，但是 A，B 两组的 ctr 比值差异过大：
比如 A，B 表示上午和下午，如果这两个时间段，同一个分数区间的 ctr 差异过大，说明模型对时间这个维度的建模不足，需要进一步改善。
- rank 分数单调递增，ctr 单调递增，各种维度分组下的 ctr 比值也接**稳：
恭喜你，到达这一步，表示你 rank 几乎没事情可做了，你剩下要做就是优化召回，在策略上引导你 rank 往新的产品思路上走，在更加高的层面带动系统往良性地方发展
点击率预估分析中的问题
Q：离线效果中AUC有提升，在线效果没有提升原因是什么？
Q：我的在线实验CPM涨了，但CTR跌了应该如何处理？
Q：我的曝光涨了，收入也涨了，但点击率和CPM都跌了，怎么处理呢？
Q: 为什么我离线统计的Bias是正常的，但线上的Bias却高的离谱？
Q: 为什么我加入了更多其它来源的训练数据，效果反而更差了？
线下实验auc涨了，但是线上效果却不佳（ctr等指标没有涨）的原因
参考文献:
