推荐系统实验方法和评价指标
一、推荐系统实验方法
离线实验、在线实验、用户调查
二、评测指标
1. 用户满意度
2. 预测准确度：
（1） 评分预测：RMSE（均方根误差）、MAE（平方绝对误差）
（2） TopN推荐：Precision、Recall
3. 覆盖率
覆盖率（coverage）描述一个推荐系统对物品长尾的发掘能力。覆盖率有不同的定义方法，最简单的定义为推荐系统能够推荐出来的物品占总物品集合的比例。但是上面的定义过于粗略。覆盖率为100%的系统可以有无数的物品流行度分布。为了更细致地描述推荐系统发掘长尾的能力，需要统计推荐列表中不同物品出现次数的分布，计算这个分布的信息熵或基尼系数。
4. 多样性
5. 新颖性
评测新颖度的最简单方法是利用推荐结果的平均流行度，因为越不热门的物品越可能让用户觉得新颖。
6. 惊喜度
如果推荐结果和用户的历史兴趣不相似，但却让用户觉得满意，那么就可以说推荐结果的惊喜度很高，而推荐的新颖性仅仅取决于用户是否听说过这个推荐结果。
