Mining Latent Structures for Multimedia Recommendation
概
作者将模态信息转化为 graph, 再进行利用, 可以用于增强一般的协同过滤方法.
符号说明
- , users;
- , items, ;
- , user/item ID embedding;
- , modality features of item .
LATTICE
Modality-aware Latent Structure Learning
-
作者认为模态信息, 最重要的是背后的潜在的结构信息, 所以本文首先将这些结构信息提取成 graph.
-
作者用了比较普通的 kNN graph, 其中 similarity matrix 的各元素通过如下方式计算:
其中 .
接着, 每个 item, 我们取相似度最高的 top- 个作为实际的邻居:最后我们再对这个稀疏化后的邻接矩阵进行标准化:
其中 为 的度矩阵.
-
但是这种方式有一点问题, 在实际中我们会对 modality features 进行 projection 使得它的特征和所关注的在同一个空间中, 即
由于 都是可学习的参数, 所以 实际上是在不断变化的. 按照上述的方式, 我们可以动态地构建邻接矩阵, 记为 .
-
最后的 modality-specific 的邻接矩阵通过如下方式加权得到:
是认为给定的超参数.
-
对于不同的模态 我们都可以得到这样的一个邻接矩阵, 为了最后得到总的矩阵, 我们采取如下的方式进行聚合
其中
得到.
-
接下来, 凭借该邻接矩阵, 我们可以通过如下方式进行 item 的特征提取:
Combining with Collaborative Filtering
-
假设我们通过普通的协同过滤方法得到了
LATTICE 通过如下方式去增强原有的 item embedding:
-
然后预测得分可以通过如下的方式计算:
-
优化通过如下的 BPR 损失:
代码
[official]
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· 没有Manus邀请码?试试免邀请码的MGX或者开源的OpenManus吧
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY
· 【自荐】一款简洁、开源的在线白板工具 Drawnix