排序指标 --- 1、平均准确率均值 (Mean Average Precision-MAP) & 2、NDCG (normalized discounted CG-cumulative gain,累计增益)
http://sofasofa.io/forum_main_post.php?postid=1002561
可能大家接触比较多的是MAP,MAP考虑的是0和1的排序。而NDCG则是考虑到评分的排序。 说到NDCG就需要从CG开始说起。 CG(cumulative gain,累计增益)可以用于评价基于打分/评分的个性推荐系统。假设我们推荐k个物品,这个推荐列表的CGk计算公式如下: CGk=∑i=1kreli. reli表示第k个物品的相关性或者评分。假设我们共推荐k个电影,reli可以是用户对第i部电影的评分。 比如豆瓣给用户推荐了五部电影, M1,M2,M3,M4,M5, 该用户对这五部电影的评分分别是 5, 3, 2, 1, 2 那么这个推荐列表的CG等于 CG5=5+3+2+1+2=13. CG没有考虑推荐的次序,在此基础之后我们引入对物品顺序的考虑,就有了DCG(discounted CG),折扣累积增益。公式如下: DCGk=∑i=1k2reli−1log2(i+1). 比如豆瓣给用户推荐了五部电影, M1,M2,M3,M4,M5, 该用户对这五部电影的评分分别是 5, 3, 2, 1, 2 那么这个推荐列表的DCG等于 DCG5=25−1log22+23−1log23+22−1log24+21−1log25+22−1log26=31+4.4+1.5+0.4+1.2=38.5 DCG没有考虑到推荐列表和每个检索中真正有效结果个数,所以最后我们引入NDCG(normalized discounted CG),顾名思义就是标准化之后的DCG。 NDCGk=DCGkIDCGk 其中IDCG是指ideal DCG,也就是完美结果下的DCG。 继续上面的例子,如果相关电影一共有7部 M1,M2,M3,M4,M5,M6,M7 该用户对这七部电影的评分分别是 5, 3, 2, 1, 2 , 4, 0 把这7部电影按评分排序 5, 4, 3, 2, 2, 1, 0 这个情况下的完美DCG是 IDCG5=25−1log22+24−1log23+23−1log24+22−1log25+22−1log26=31+9.5+3.5+1.3+1.2=46.5 所以 NDCG5=DCG5IDCG5=38.546.5=0.827 NDCG是0到1的数,越接近1说明推荐越准确。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
· winform 绘制太阳,地球,月球 运作规律
· AI与.NET技术实操系列(五):向量存储与相似性搜索在 .NET 中的实现
· 超详细:普通电脑也行Windows部署deepseek R1训练数据并当服务器共享给他人
· 【硬核科普】Trae如何「偷看」你的代码?零基础破解AI编程运行原理
· 上周热点回顾(3.3-3.9)
2018-04-06 mxnet 动手学深度学习